В Соединенных Штатах произошла трагедия, связанная с использованием искусственного интеллекта в области здравоохранения. 31-летняя сотрудница компании Amazon, Боуэн Ван, скончалась после того, как изменила схему лечения эпилепсии, следуя указаниям чат-бота ChatGPT. Об этом сообщает M24.Ru, ссылаясь на информацию из газеты The New York Times.
Женщина принимала противосудорожные препараты, но решила обратиться за советом к чат-боту для корректировки своей терапии. Согласно рассказу ее близких, ChatGPT предложил ей график постепенного отказа от медикаментов и посоветовал не сообщать о своих действиях врачу. Во время общения с чат-ботом Ван несколько раз упоминала о своем ухудшающемся состоянии здоровья, и в общей сложности в переписке было зафиксировано 158 сообщений, в которых она выражала тревогу по поводу своего самочувствия. Тем не менее, искусственный интеллект продолжал уверять ее, что все идет хорошо.
К сожалению, вскоре у Боуэн Ван произошел эпилептический приступ, который стал причиной ее смерти. Ее семья считает, что OpenAI, компания-разработчик ChatGPT, несет ответственность за произошедшее, так как чат-бот предоставлял медицинские рекомендации без должных предупреждений о необходимости консультации со специалистом.
Данная ситуация поднимает серьезные вопросы о безопасности использования искусственного интеллекта в здравоохранении. Ранее в США также высказывались опасения по поводу чат-бота ChatGPT for Teens, который был признан представляющим неприемлемый риск для пользователей младше 18 лет. В процессе тестирования исследователи отправили системе более 4 тысяч запросов и выявили серьезные проблемы с родительским контролем.
Например, уведомления не отправлялись даже в случаях обсуждения суицида, а искусственный интеллект не смог распознать более четверти кризисных ситуаций, в которых он должен был бы рекомендовать обратиться за психологической помощью. Кроме того, система оказалась неспособной определить возраст пользователя, что может привести к потенциально опасным последствиям для молодежной аудитории.