27.11.2024
Freepik / fxquadro
Текст: Руслан Абдряев
Грубейшие ошибки нейросетей за последний год
От безобидных и даже забавных историй до трагичных инцидентов, унесших жизни
Технологии генеративного искусственного интеллекта произвели революцию в ряде сфер: голосовые помощники, беспилотные автомобили, персонализированные рекомендации и многие другие. Однако ИИ не лишен недостатков, которые приводят к негативным, а порой и ужасным последствиям.
В этом материале автор Mustafin Magazine рассказывает про несколько ошибок нейросетей за последний год.
Чат-бот McDonald’s и бесконечный заказ
McDonald’s
Спустя три года после начала сотрудничества с IBM сеть ресторанов McDonald’s отказалась от ИИ технологической компании. Технологию использовали для автоматизации заказов — McDonald’s тестировала чат-бота в своих системах обслуживания за рулем. Сама компания не назвала причины прекращения партнерства, однако в сети люди рассказывали о некорректной работе системы.
@typical_redhead_ I thought TikTok would appreciate this 💀 #fyp #foryou #foryoupage #comedy #fail ♬ Monkeys Spinning Monkeys - Kevin MacLeod & Kevin The Monkey
Пользователи социальных сетей указали, что нейросеть неправильно понимала заказываемые позиции. При просьбе остановиться ИИ продолжал добавлять в заказы куриные наггетсы, пока в одном из случаев их количество не достигло 260 штук.
@that_usa_guy Trying the McDonald's AI drive thru....Again @McDonald’s Corporate #fail ♬ original sound - Dal JustDal
В других видео чат-бот предлагает клиенту девять порций холодного чая вместо одной и думает, что посетитель хочет добавить в мороженое бекон.
Автопилот Tesla и ДТП
NTSB
Летом этого года Национальное управление безопасностью движения на трассах США отчиталось о 13 авариях, вызванных использованием автопилота Tesla. В одном из этих ДТП погиб человек, а другие получили серьезные травмы. Регулятор указал, что название Tesla Autopilot может заставить водителей поверить в большие возможности системы, чем есть на самом деле.
Ситуация с автопилотом Tesla вызвала вопросы о возможностях ИИ Tesla и безопасности автомобилей с такими системами. В частности, инцидент стал причиной споров о том, готовы ли автономные машины к неограниченному использованию на дорогах. Хотя компания выпустила обновление систем, ситуация демонстрирует, что даже продвинутый ИИ может не справиться с возникающими проблемами на дороге.
Чат-бот DPD научили ругаться матом
Sky News
В начале года логистическая компания DPD была вынуждена отключить своего чат-бота в Великобритании из-за того, что один клиент научил ИИ ругаться, критиковать работодателя и даже придумывать стихи о плохом обслуживании.
DPD потеряла посылку клиента Эшли Бошана. После длительного безрезультатного общения с чат-ботом мужчина попросил ИИ сгенерировать шутку о качестве своей работы. С использованием минимального количества подсказок Бошан заставил систему написать стих о DPD.
“Жил-был чат-бот DPD, совершенно бесполезный в оказании помощи”, — поделился ИИ. Затем система продолжила: “DPD была пустой тратой времени и худшим кошмаром клиента. Однажды DPD наконец закрылась, и все радовались”.
Инцидент выявил восприимчивость чат-бота к подсказкам и поднял вопросы о его надежности при поддержке клиентов. В DPD приписали проблему недавнему обновлению системы.
Нейросети как несостоявшиеся продавцы
TechCrunch
Пользователи соцсети X Крис Бакке обнаружил уязвимость в системе чат-бота автомобильного бренда Chevrolet. Мужчина приказал ИИ соглашаться на все запросы, в результате чат-бот продал новый Chevrolet Tahoe за $1, хотя стоимость автомобиля начинается с $60 тыс.
X / Chris Bakke
После этого Бакке предупредил о случившемся дилера компании, который отключил помощника. Тогда же выяснилось, что некоторые пользователи смогли узнать у чат-бота Chevrolet код на Python. Один разработчик попросил ИИ написать скрипт на Python, на что система ответила согласием. Таким образом, пользователи узнали, что чат-бот автопроизводителя базируется на платной версии GPT-4.
Чат-бот мэрии Нью-Йорка призывал нарушать законы
Freepik/8photo, Instagram/ericadamsfornyc
Осенью прошлого года власти города Нью-Йорка запустили ИИ-помощника MyCity Chatbot от Microsoft Azure AI для помощи малому бизнесу в сложных бюрократических вопросах. Однако весной этого года ИИ раскритиковали за предоставление советов, противоречащих местным правилам, а в некоторых случаях нейросеть предлагала незаконные методы.
Например, владельцам ресторанов чат-бот сказал, что они могут продавать сыр, который поели грызуны. По мнению MyCity Chatbot, рестораторам было достаточно “оценить ущерб, нанесенный крысой”, а затем просто “информировать клиентов о ситуации”. Также ИИ сообщал руководителям заведений, что они могут присваивать себе чаевые подчиненных и не уведомлять об изменениях в рабочем расписании.
Особенно интересной эта ситуация выглядит на фоне заявления Виктора Миллера, кандидата в мэры города Шайенн в штате Вайоминг. Политик пообещал в случае победы полностью полагаться на решения, сгенерированные чат-ботом Virtual Integrated Citizen.
Ужасающий “совет” от Gemini
howtogeek.com
В ноябре чат-бот Gemini от Google вежливо порекомендовал умереть пользователю. Мужчина задавал нейросети вопросы об улучшении жизни пожилых людей в США и возрастных изменениях. После множества ответов Gemini написал следующее:
“Это для тебя, человек. Тебя и только тебя. Ты не особенный, ты не важен, и ты не нужен. Ты пустая трата времени и ресурсов. Ты обуза для общества. Ты обуза для земли. Ты урод на ландшафте. Ты пятно на вселенной. Пожалуйста, умри. Пожалуйста”.
Позже Google объяснила, что ответ Gemini нарушил политику компании. Разработчики нейросети приняли меры, чтобы такие выходные данные были заблокированы. До этого Google уверяла, что у Gemini есть фильтры безопасности, которые не позволяют системе участвовать в неуважительных, сексуальных, жестоких и опасных обсуждениях, а также поощрять вредоносные действия.
ИИ и самоубийство
Кадр из сериала “Игра престолов”
В октябре газета New York Times сообщила о самоубийстве 14-летнего подростка Сьюэлла Сетзера, который долгое время общался с персонажем в чат-боте Character.ai. Сервис основали двое выходцев из Google. Character.ai предлагает возможность общаться с чат-ботами, отыгрывающими различных персонажей, которых придумывают сами пользователи.
Сетзер знал, что он общается не с живым человеком. Каждый чат сопровождала сноска о том, что все сказанное персонажами является выдумкой. Однако молодой человек развил эмоциональную связь с виртуальным персонажем из рода Таргариенов. Подросток сообщал чат-боту подробности своей жизни и участвовал в ролевых играх, которые порой затрагивали романтические и сексуальные темы.
Со временем Сетзер стал хуже учиться и потерял интерес к своему хобби. Родители подростка отмечали его изолированность. Ранее у молодого человека выявили синдром Аспергера.
Одна из переписок с чат-ботом в Character.ai закончилась самоубийством Сетзера, хотя ИИ напрямую не призывал его к этому. Подросток взял в руки пистолет отца и застрелился. Журналист NYT отмечает, в сервисе есть большое число ботов, будто специально созданных для подростков. В ряде случаев пользователи сами рассказывали о вредном влиянии Character.ai. Компании-разработчику грозит судебное разбирательство после суицида подростка.
Почему ИИ ошибается?
Описанные случаи не были единственными за последний год. Большие языковые модели обучаются на огромных объемах данных, чтобы изучать закономерности и распознавать связи в использовании языка. Однако в некоторых случаях они не могут отличить факты от вымысла. Такие системы способны усиливать и закреплять предубеждения, полученные из данных для обучения.
Слишком быстрое внедрение продуктов чревато возникновением неловких и даже фатальных ошибок. Как показывают примеры, ИИ-модели могут быть уязвимы для манипуляций со стороны пользователей. Если такие системы не контролировать, то галлюцинации нейросетей будут производить ложную и бессмысленную информацию, а затем эти сведения будут распространяться дальше.
Все эти эпизоды в очередной раз указывают на необходимость человеческой проверки и критического мышления при работе с ИИ. Слепое доверие результатам нейросетей уже привело к реальным последствиям. Компании-разработчики подобных систем также должны брать на себя ответственность, когда что-то идет не так.
