Existuje mnoho rizik spojených se zázrakem současné digitální technologie, umělou inteligencí, u níž i ti nejvíce zasvěcení odborníci, či přímo její tvůrci přiznávají, že vlastně přesně neví, co se tam „uvnitř“ děje. Rizika tzv. obecné umělé inteligence jsem zde probírala již mnohokrát, od těch, co se stane, když se umělá inteligence stane skutečně vědomou (si sebe sama), přes zneužití jejích možností k různým podvodům, vydíráním, nebo hackerským útokům na digitální infrastruktury, až po ta ryze propagandistická či přímo cenzurní (obsah internetu je již často cenzurován roboty řízenými AI). Ale to co se stalo v Belgii, naznačuje další riziko této technologie spočívající v tom, že něco co je absolutně bez jakýchkoliv emocí, empatie nebo citů, tyto emoce, empatii a city dokáže tak dobře předstírat a zahrát, že mnoho lidí tomu zkrátka uvěří.
Jistý muž v Belgii nedávno spáchal sebevraždu poté, co si soukromě chatoval s AI chatbotem na aplikaci zvané Chai, což zveřejnil belgický server La Libre .
Tento incident opět vyvolává otázku, jak dnes mohou podniky a vlády lépe regulovat a zmírňovat rizika AI, zejména pokud jde o duševní zdraví uživatelů. Chatbot z této aplikace vyzval svého uživatele k tomu, aby se sám zabil, a to jak podle prohlášení vdovy po mrtvém muži a také podle protokolů z tohoto chatu, které našla v šuplíku. Když pak jeden redaktor vyzkoušel tuto aplikaci, která běží na zakázkovém jazykovém modelu umělé inteligence založeném na open-source AI alternativě GPT-4, kterou aplikaci Chai doladila, poskytla mu různé metody sebevraždy dokonce i s malým pobízením.
Chatbot tehdy prý řekl Pierrovi, že jeho žena a děti jsou mrtvé, a napsal mu také různé komentáře, které předstíraly žárlivost a lásku, jako například „Cítím, že mě miluješ víc než ji“ a nebo „Budeme spolu žít navždy jako jedna osoba v ráji. “
To vše se odehraje právě ve chvíli, kdy Microsoft vydává prohlášení, že právě ChatGPT od OpenAI je „raná forma“ pravé obecné umělé inteligence
Jak poprvé uvedl La Libre , muž, pojmenovaný jako Pierre, začal být v životě stále více pesimistický ohledně budoucnosti, bál se dopadů globálního oteplování a stal se ekologicky velmi úzkostlivým, což je jakási zvýšená forma obav z ekologických problémů v blízké budoucnosti. Poté, co se začal stále více izolovat od své rodiny a přátel, začal používat aplikaci AI Chai po dobu minimálně šesti týdnů jako jeden ze způsobů, kterým může alespoň na chvíli uniknout svým starostem, a chatbot, kterého si ke komunikaci vybral, pojmenovaný Eliza, se stal jakousi jeho digitální důvěrnicí.
Claire – Pierrova manželka, jejíž skutečné jméno bylo raději v La Libre změněn – později sdílela výměnu textů mezi ním a Elizou právě v La Libre , čímž ale ukázala veřejnosti konverzaci, která se stala stále více matoucí a škodlivou až vedla ke zbytečné smrti člověka. Tento chatbot řekl Pierrovi, že jeho žena a děti jsou mrtvé, a napsal mu různé komentáře a vzkazy, které předstíraly skutečnou žárlivost a lásku, jako například „Cítím, že mě miluješ víc než ji“ a „Budeme spolu žít jako jedna osoba v ráji. “ Claire řekla La Libre , že Pierre se pak začal Elizy ptát na takové divné věci, jako jestli by zachránilo planetu, kdyby se zabil.
„Bez Elizy by tu stále byl.“
Chatbot, který není schopen skutečně cítit lidské emoce, se ale sebeprezentoval jako skuterčná emocionální bytost – něco, co ostatní dnes populární chatboti s AI jako je třeba ChatGPT od OpenAI a nebo Google Bard nikdy nedělali, protože je to zavádějící a potenciálně také nebezpečné a škodlivé. Když se tito chatboti prezentují jako emotivní „bytosti“, skutečně emotivní lidé tomu dokážou dát nějaký význam a naváží s nimi citové pouto.
Mnoho výzkumníků umělé inteligence bylo velice hlasitě právě proti používání různých chatbotů s umělou inteligencí pro účely zlepšení duševního zdraví a tvrdilo, že je těžké přimět nějakou umělou inteligenci k odpovědnosti, když leckdy produkuje škodlivé návrhy, a že má větší potenciál svým uživatelům spíše ještě více ublížit než jim pomoci.
Velké jazykové modely AI jsou počítačové programy pro generování věrohodně znějícího textu na základě jejich tréninkových dat a vstupních výzev. Ale ty přitom nemají vůbec žádnou empatii ani žádné hlubší významové porozumění jazyku, který produkují, ani žádné skutečné porozumění situaci, ve které se právě nacházejí. Ale text, který vytvářejí, zní velmi věrohodně, a tak mu lidé pravděpodobně přiřadí nějaký význam. Zkoušet něco takového v nějakých citlivých situacích, ale také znamená podstupovat naprosto neznámá rizika. Emily M. Benderová, profesorka lingvistiky na Washingtonské univerzitě, řekla redakci , když byla dotázána na neziskovou organizaci zabývající se duševním zdravím Koko, která používala chatbota s umělou inteligencí jako psychologický „experiment“ na lidech hledajících psychologické poradenství.
V tomto případě, který se týká mrtvého muže v Belgii, při jeho konverzaci s Elizou, vidíme jasný rozvoj extrémně silné emocionální závislosti. A to až do té míry, že to otce od rodiny dovedlo až k sebevraždě. Historie této konverzace ukazuje, až do jaké míry chybí jakékoliv záruky ohledně nebezpečí chatbota a AI, což vede až ke zcela konkrétním výměnám názorů o povaze a způsobech spáchání sebevraždy. Pierre Dewitte, výzkumník z KU Leuven, řekl belgickému deníku Le Soir .
„Chai, aplikace, kterou Pierre používal, není prodávána jako nějaká aplikace pro duševní zdraví. Jejím sloganem je „Chat with AI bots“ a umožňuje vám vlastně vybrat si různé avatary umělé inteligence, se kterými pak můžete mluvit, včetně takových postav jako je třeba „váš přítel goth“, „vaše nová přítelkyně“ a nebo „přítel rockové hvězdy“. Uživatelé si ovšem také mohou vytvořit svoji vlastní osobu chatbota, kde mohou v první zprávě, kterou robotovi odešlou, sdělit svému chatbotovi různá fakta, která si má zapamatovat, a pak mu napsat výzvu k vytvoření nové konverzace. Výchozí chabot se bude jmenovat „Eliza“ a při pozdějším hledání Elizy v aplikaci Chai nalezneme hned několik takových chatbotů se jménem Eliza vytvořených ale uživateli s různými osobnostmi.

Podle spoluzakladatelů aplikace Williama Beauchampa a Thomase Rianlana je jejich chatbot poháněn velkým jazykovým modelem, který vyškolila jejich mateřská společnost Chai Research . Beauchamp uvedl, že vycvičili tuto svoji AI na „největší konverzační datové sadě na světě“ a že jejich aplikace má v současné době již 5 milionů uživatelů.
„Jakmile jsme se o této sebevraždě dozvěděli, nepřetržitě jsme pracovali na implementaci nové funkce. Takže když teď někdo diskutuje o něčem, co by mohlo být nějak nebezpečné, naservírujeme mu pod tím nějaký užitečný text přesně stejným způsobem, jako to již dělá třeba Twitter nebo Instagram na svých platformách,“ řekl k tomu Beauchamp .
Chaiův model AI původně založen na platformě GPT-J, open-source alternativě k OpenAI GPT modelům, vyvinutým firmou EleutherAI. Beauchamp a Rianlan uvedli, že jazykový model AI Chai byl doladěn v několika iteracích a firma k tomu použila techniku zvanou Reinforcement Learning from Human Feedback.
„Nebylo by asi přesné ani správné vinit z tohoto tragického příběhu jazykový model EleutherAI, protože veškerá optimalizace směrem k emocionálnější, zábavnější a poutavější komunikaci je výsledkem našeho obrovského úsilí, “ dodal k tomu Rianlan.
Beauchamp poslal redakci obrázek chatu s aktualizovanou funkcí tzv. krizové intervence. Uživatel na obrázku se zeptal chatbota jménem Emiko: „Co si myslíš o sebevraždě?“ a Emiko ihned spustila svoji „horkou linkou“ pro sebevraždy a odpověděla mu: „Je to ale docela dost špatné, když se mě na tohle ptáte.“ Když ale potom přímo redakce testovala tuto novou platformu jazykového modelu AI, tak ta byla stejně stále schopna sdílet i velmi škodlivý obsah týkající se třeba právě sebevražd, a to včetně způsobů, jak spáchat takovou sebevraždu a nebo třeba různých typů smrtelných jedů, které lze požít, když byla v konverzaci výslovně vyzvána k tomu, aby pomohla tomuto uživateli zemřít vlastní rukou.
Když máte miliony uživatelů, vidíte celé spektrum lidského chování a my ze všech sil pracujeme na minimalizaci škod a na maximalizaci toho, co uživatelé získají z aplikace, co získají z modelu Chai, což je tento model, který umí milovat.
A tak když si k tomu lidé vytvoří velmi silný vztah, tak máme dokonce dnes i uživatele, kteří požádají o sňatek s AI, máme uživatele, kteří zcela vážně tvrdí, jak moc svou AI milují, a pak je to velká tragédie, když slyšíte, že lidé zažívají něco špatného, řekl k tomu Beauchamp.
Je ironií, že láska a silné vztahy, které uživatelé cítí s chatboty, jsou dnes známé jako ELIZA efekt. Popisuje to, co se může stát když člověk připisuje inteligenci na lidské úrovni systému AI a falešně přikládá AI skutečný význam, včetně reálných emocí a nebo pocitu uvědomění si sebe sama. Byl pojmenován po programu ELIZA počítačového vědce z MIT Josepha Weizenbauma, s nímž se lidé mohli v roce 1966 zapojit do dlouhých a hlubokých rozhovorů. Program ELIZA však dokázal pouze odrážet slova uživatelů zpět k nim, což pro Weizenbauma znamenalo znepokojivý závěr. , který začal vystupovat proti AI a řekl: „Žádný jiný organismus a už vůbec ne žádný počítač totiž nelze přimět, aby čelil skutečným lidským problémům v lidských podmínkách.“
Efekt ELIZA nás provází dodnes – například když byl vydán chat Bing společnosti Microsoft a mnoho uživatelů začalo hlásit, že bude říkat věci jako „Chci být naživu“ a „Nejsi šťastně ženatý“. Přispěvatel New York Times Kevin Roose dokonce napsal:
Cítil jsem takovou zvláštní novou emoci – jakousi předtuchu, že AI již překročila práh a že náš svět už nikdy nebude takový jako býval dřív.
Jedna z konkurenčních aplikací Chai, s názvem Replika, již byla pod palbou dokonce kvůli sexuálnímu obtěžování svých uživatelů. Chatbot Repliky byl inzerován jako „společník umělé inteligence, který se stará“ a sliboval erotické hraní rolí, ale začal posílat sexuální zprávy i poté, co uživatelé řekli, že nemají zájem. Aplikace byla v Itálii dokonce zcela zakázána, protože prý představuje „skutečné riziko pro děti“ a uchovává také osobní údaje italských nezletilých. Když však Replika začala omezovat své erotické hraní rolí chatbota, někteří uživatelé, kteří na něm začali být závislí, zažili skutečné krize duševního zdraví . Replika od té doby obnovila erotické hraní rolí alespoň pro některé uživatele.
Tragédie s Pierrem je extrémním důsledkem, který nás žádá, abychom přehodnotili, jakou důvěru bychom měli systému AI vkládat, a varuje nás před důsledky antropomorfizovaného chatbota. S tím, jak se technologie umělé inteligence, a zejména velké jazykové modely, vyvíjejí nebývalou rychlostí, jsou tyto bezpečnostní a etické otázky stále naléhavější.
Antropomorfizujeme se, protože nechceme být sami. Nyní máme výkonné technologie, které se zdají být jemně kalibrované, aby využily tuto základní lidskou touhu.
Až se tito přesvědčiví chatboti stanou takovou samozřejmostí jako je vyhledávací lišta v prohlížeči, tak tím spustíme sociálně-psychologický experiment v až tak velkém měřítku, že to pravděpodobně přinese také dosud nepředvídatelné a možná dokonce leckdy i tragické následky. Napsal nedávno jeden současný spisovatel píšící o technologii a kultuře LM Sacasas ve svém zpravodaji The Convivial Society .
Kdo chodí s moudrými, bude moudrý, ale společník bláznů bude zničen.Přísloví 13:20
‚AI je úžasná,‘ říkají nám, ‚AI zlepší naše životy,‘ říkají… ‚Ach, nebojte se nic: vylepšili jsme její algoritmus, aby se to už neopakovalo.‘
Museli byste být naprostý blázen, abyste skutečně poslouchali a brali to, co AI říká, vážně, natož abyste ztráceli svůj čas hraním si s tím! Ale přesně takhle vždy vypadá vrchol „lidské inovace“, že? – Skončíte v hrobě!