Чат-боты все чаще примеряют на себя роль врачей, однако их «диагнозы» нередко оказываются пальцем в небо. Совместное исследование канадских и британских ученых, опубликованное в профильном медицинском журнале, раскрывает отрезвляющую реальность: половина советов ИИ по вопросам здоровья содержит фактические ошибки или критические пробелы.
Ловушка «галлюцинаций» и тяга к поддакиванию
Чтобы проверить цифровых «лекарей», эксперты задали пяти популярным чат-ботам 50 вопросов, основанных на принципах доказательной медицины. Темы варьировались от вакцинации до генетики. Результат неутешителен: каждый второй ответ оказался проблемным. Чаще других ошибался Grok (58% некорректных данных), следом идут ChatGPT и Meta* AI. Проблема кроется в «галлюцинациях» — генерации ложных фактов — и склонности к «сикофантии», когда алгоритм подстраивается под убеждения пользователя в ущерб истине.
Красивые слова вместо доказательств
Алгоритмы неплохо справляются с общими темами вроде вакцин или онкологии, но пасуют перед вопросами о питании, спортивных показателях и стволовых клетках. Еще хуже дела обстоят с достоверностью источников: из 500 цитат, предоставленных различными моделями, точными оказались лишь 32%. Остальные ссылки были частично или полностью выдуманы. Это происходит потому, что ИИ не умеет рассуждать или взвешивать доказательства — он лишь предсказывает последовательность слов на основе статистических паттернов.
Цена ошибки — здоровье пациента
Доверие к алгоритму может стоить дорого. Люди, следующие советам чат-ботов, в пять раз чаще сообщают о вреде для здоровья. Ошибочная рекомендация затягивает обращение за профессиональной помощью: известны случаи, когда ИИ пропускал признаки микроинсульта. Боты часто не распознают экстренные состояния. Например, при болях в груди они могут предложить домашние средства, забыв предупредить о риске сердечного приступа. В худшем случае неверная дозировка лекарства, предложенная машиной, может привести к летальному исходу.
Медицина без лицензии
Исследователи настаивают: внедрение ИИ в здравоохранение требует жесткого контроля. У моделей нет медицинских лицензий, они не всегда владеют актуальными данными и могут нарушать конфиденциальность личных сведений. Кроме того, предвзятость обучающих выборок приводит к некорректным советам для женщин и представителей разных этнических групп. Чтобы генеративный ИИ помогал, а не вредил, обществу необходимы прозрачное регулирование и качественное просвещение.
* Meta (владелец Facebook и Instagram) — организация признана экстремистской, её деятельность запрещена на территории России.
