Сложный случай

[birdwatcher]

futurism.com -- Many people who have had their lives upended by the phenomenon known as “AI psychosis,” or delusional spirals and breaks from reality tied to extensive chatbot use, have also pointed to ChatGPT’s extended memory as a key factor in their or their loved ones’ mental health crises.
One man, whose now-ex wife believes that she discovered powerful spiritual entities inside of ChatGPT, described connecting with another man who was also losing his wife to a ChatGPT-generated spiritual world. To their horror, the pair quickly realized that their spouses — and marriages — started unraveling in the wake of the April memory update. The memory update, among other design features and product rollouts, has been mentioned in numerous ongoing user safety and wrongful death lawsuits brought against OpenAI.

Если бы вы были присяжным на таком процессе, как бы вы проголосовали?

Poll #34688

Open to: Registered Users, detailed results viewable to: All, participants: 5

View Respondents

?

View Answers

За истцов. Компания, продающая опасные продукты, должна возмещать убытки от их использования.
0 (0.0%)

За OpenAI. Если кто-то думает, что сошёл с ума от того, что разговаривал со спамботом, он путает причину и следствие.
5 (100.0%)

Comments

[ak_47]

Этот пост можно проиллюстрировать видеороликом "Прибытие поезда" где публика ломится на выход, круша стулья. Ничего с тех пор не изменилось.

С другой стороны, грустно видеть сколько поехавших крышей сограждан вокруг. Думаю, с ковида началось, когда это стало явным. До того люди ещё как-то держались и не показывали виду.

(заdoomчиво)

[zorgongollak]

Есть ещё и третий вариант. Обязать производителей предупреждать юзверей их продуктов о том, что их продукты могут вызывать тяжёлую зависимость и способствовать развитию психических заболеваний, а также представляют из себя угрозу жизни - по крайней мере, при длительном некритическом использовании. Как табачные компании обязали печатать на коробках с сигаретами и прочими никотиновыми сосками, жвачками и нюхачками предупреждения об их аддиктивности и канцерогенности, часто ещё и с соответствующими аппетитными картиночками.

Да, но. LLM, судя по тому, что они делают с людьми и дальнейшими "перспективами" развития психозов с абсолютно необратимыми последствиями, будут, пожалуй, куда опаснее табака. И даже опаснее сказочного "слега" братьев Стругацких.

Публичное использование LLM в их нынешнем "сыром" состоянии равносильно появлению опиатов и тяжёлых психоделиков в абсолютно свободном доступе. Тут можно вспомнить Уильяма Берроуза: ни один нарк не может вспомнить, когда именно он приобрёл тяжёлую зависимость и, собственно, стал нарком - со всеми вытекающими. А с юзерами тяжёлых психоделиков вообще забавно: кому-то изнасилование собственной психики, и даже неоднократное, сходит с рук - а кто-то становится психическим больным уже после однократного употребления. Но тут ещё можно добавить, что в древних культурах тяжёлые психоделики никогда не использовались профанно, для развлечения - а исключительно в специфических религиозных церемониях и после соответствующей подготовки участников. Да и не было в старину психоделиков, которые "держат" более пары часов - что для церемонии общения с духами предков было больше чем достаточно.

Так и "общение" с чат-гопотушечкой, гроком и прочими LLM. Оно потенциально аддиктивно, и оно способно вызывать тяжёлые поражения сознания реципиентов, подобно химическим веществам. Причина, или, по крайней мере одна из причин, крайне проста - электронный псевдоразум никогда не устаёт. Поэтому для него нет негипнабельных людей - тех самых 10-15% человеческой популяции, той счасти, которая не поддаётся суггестии. Барьер критики и скепсиса у таких людей LLM со временем тоже пробивают - просто для этого нужно больше времени, что для LLM (а не человека-суггестора - врача-гипнолога, циркового артиста-гипнотизёра, гуру изуверской секты, мошенника, политика, etc.) абсолютно не критично. При этом, что характерно, жертва гипнотизирует, фактически, сама себя - с ней никто не устанавливает раппорт, ей просто подкидывают в нужное время нужные сочетания слов, которые рано или поздно, но обязательно окажут воздействие на её сознание. При этом, что самое парадоксальное, LLM в данном случае не является субъектом манипуляции - сама жертва является и субъектом, и объектом манипуляции одновременно. Для такого аутогипноза раньше просто не было соответствующих технических средств и возможностей. А теперь вот, с нелёгкой руки создателей LLM, появились. По опасности - практически пресловутые SCP-объекты.

Попавший в зависимость от электронного псевдоразума-собеседника человек становится подобен той самой лабораторной крысе, которой вживили электроды в центр удовольствия, и которая потом готова бесконечно давить лапкой на рычаг, игнорируя все свои остальные нормальные крысиные потребности. Что, опять же, возвращает нас к тому самому пресловутому "слегу" братьев Стругацких. Вот он и появился - совсем не такой, как они предполагали. Люди не умирают в ваннах с горячей водой от нервного истощения. Люди просто сходят с ума, взаимодействуя с гигантской, крайне дорогостоящей и потребляющей кучу ресурсов раздутой поисковой машиной, имитирующей живое общение.

[chaource]

"Жги, Господь!"