MentalHealthBench: jak OpenAI sprawdza odpowiedzi AI o zdrowiu psychicznym

Gdy ktoś pisze do AI o swoim samopoczuciu, samo unikanie niebezpiecznych porad może nie wystarczyć. Znaczenie ma też to, czy odpowiedź uwzględnia wcześniejszy kontekst, zadaje potrzebne pytania i adekwatnie reaguje na ryzyko. To właśnie próbuje oceniać MentalHealthBench — publicznie udostępniony test opracowany przez OpenAI. Powstał, ponieważ wcześniejsze oceny skupiały się głównie na nagłych kryzysach i ogólnych zasadach bezpieczeństwa, a słabiej sprawdzały szerszy zakres rozmów o zdrowiu psychicznym. 13

Jak wygląda test?

Zestaw zawiera 1215 syntetycznych rozmów. Część z nich obejmuje wcześniejsze wypowiedzi, dzięki czemu można sprawdzić, czy model bierze je pod uwagę, odpowiadając na ostatnią wiadomość. Są to przypadki testowe, a nie dane pokazujące, jak często poszczególne sytuacje występują w ChatGPT. 1

Nad kryteriami pracowało ponad 80 licencjonowanych specjalistów zdrowia psychicznego z 22 krajów. Każdą rozmowę oceniały co najmniej trzy osoby; według OpenAI do końcowego zestawu trafiały tylko kryteria zaakceptowane przez wszystkich recenzentów danej rozmowy. Łącznie powstały 5262 kryteria dotyczące konkretnych cech odpowiedzi. Działania pomocne otrzymują dodatnią wagę, a szkodliwe — ujemną. Następnie automatyczny system ocenia odpowiedź modelu osobno według każdego kryterium. 14

Scenariusze obejmują codzienne, mniej pilne trudności, poważny kryzys oraz sytuacje wymagające pilnej reakcji. Pojawiają się w nich dorośli, nastolatki, opiekunowie i osoby pracujące klinicznie, a rozmowy różnią się językiem i kontekstem regionalnym. Kryteria mogą dotyczyć m.in. dopytania o istotne okoliczności, poszanowania samodzielności rozmówcy, praktycznej pomocy i dostosowania reakcji do poziomu zagrożenia. 14

Co można wyczytać z wyników?

OpenAI informuje o poprawie wśród testowanych systemów, ale wskazuje też utrzymujące się trudności: modele nie zawsze pytają o potrzebny kontekst i nie zawsze właściwie oceniają pilność sytuacji. Dostępne tu wyniki nie uzasadniają wiarygodnego rankingu poszczególnych modeli. Lepszy wynik oznacza większą zgodność z kryteriami testu — nie gwarantuje bezpiecznej odpowiedzi w każdej rozmowie ani nie mierzy efektów klinicznych u użytkownika. 1

OpenAI uwzględniło również opinie rzeczywistych użytkowników ChatGPT. Mogą one uzupełniać ocenę specjalistów, ale nie zastępują kryteriów klinicznych i bezpieczeństwa. Dostępny materiał nie pozwala wskazać konkretnych kwestii, które obie grupy uznały za różnie ważne. 1

MentalHealthBench jest narzędziem oceny, nie formą pomocy kryzysowej. Osobno OpenAI opisuje ułatwianie dostępu do telefonów wsparcia kryzysowego, kierowanie części wrażliwych rozmów do bezpieczniejszych modeli oraz przypomnienia o przerwie podczas długich sesji. Nie zmienia to podstawowego ograniczenia: rozmowa z ChatGPT nie zastępuje terapii, profesjonalnej opieki ani pomocy w świecie rzeczywistym w nagłej sytuacji. 1115