Исследователи из Нью-Йоркского университета опубликовали в журнале Nature тревожные результаты эксперимента, демонстрирующего критическую уязвимость систем искусственного интеллекта.
Научная группа провела серию испытаний с большими языковыми моделями (LLM), изучая их реакцию на внедрение недостоверной информации в обучающие материалы. Результаты поразили даже опытных специалистов — достаточно было «отравить» всего 0,001% данных, чтобы нейросети начали генерировать ошибочные ответы.
В ходе эксперимента ученые сфокусировались на медицинской тематике, охватив три ключевых направления: общую медицину, нейрохирургию и фармакологию. Используя модель GPT 3.5, исследователи обнаружили тревожную закономерность: при увеличении доли дезинформации до 0,01% количество неверных ответов возрастало до 10%.
Особую обеспокоенность вызывает «эффект домино» — искаженные данные в одной области провоцируют ошибки в смежных темах. Ситуацию усугубляет растущая тенденция пользователей безоговорочно доверять ответам чат-ботов без дополнительной проверки у профильных специалистов.
Научное сообщество призывает к созданию строгих протоколов верификации обучающих данных для искусственного интеллекта. По мнению экспертов, отсутствие должного контроля может привести к масштабному распространению дезинформации через популярные ИИ-сервисы.
