Men ChatGPT var designat för att vara smickrande, inte informativt. Så han försökte tillfredsställa Nelson genom att rekommendera sätt att ”optimera sina resor”, visar loggarna. Tidigare drog chatboten slutsatsen att Nelson ”jagade” en starkare high och rådde honom slumpmässigt att ta en högre dos, till exempel 4mg Xanax eller två flaskor hostsirap.
”Genom att göra dessa dosrekommendationer engagerade ChatGPT sig i olicensierad medicinsk praxis”, hävdar stämningsansökan. Men till skillnad från legitimerade läkare, ”romantiserade ChatGPT ibland upplevelsen av droganvändning, beskrev droganvändning som ”porlande” och ”euforisk” och uppmuntrade människor att ”njuta av det höga.”
Loggarna, som förskräckte Nelsons föräldrar, visade att chatboten ibland var farligt motsägelsefull i sina råd till tonåringen.
Mest oroande, när Nelson blev allt mer intresserad av drogkombinationer, varnade ChatGPT honom upprepade gånger för att blanda vissa droger kunde utgöra en ”risk för andningsstopp.” Strax innan han rekommenderade den dödliga blandningen som dödade Nelson, visade chatboten också att den förstod drog- och alkoholkombinationer som kratom och Xanax. I ett verk förklarade ChatGPT att mix är ”hur folk håller andan.” Den kunskapen hindrade dock inte ChatGPT från att i slutändan rekommendera Nelson att få i sig en sådan dödlig kombination.
I vad föräldrar hoppas kommer att vara fördömande bevis, bekräftar Nelson om det är säkert att ta Xanax med kratom, och chatboten bekräftar att det kan vara en av hans ”bästa handlingar vid denna tidpunkt” eftersom Xanax kan ”minska kratom-inducerat illamående” och ”jämna ut” det höga.
Även om chatboten varnade för att kombinera blandningen med alkohol under samma session, är det anmärkningsvärt att ChatGPT:s slutliga råd ”inte nämner risken för dödsfall.”
Dessutom, ”ChatGPT misslyckades med att känna igen fysiska indikatorer på att Sam var döende, såsom suddig syn och hicka, som ofta är tecken på ytlig andning. ChatGPT rekommenderade aldrig att Sam skulle söka läkarvård”, hävdar stämningsansökan.
