Специалисты «Лаборатории Касперского» провели исследование, выявившее новый способ манипуляции системами искусственного интеллекта, применяемыми в чат-ботах и поисковых сервисах. Пользователи размещают на своих веб-ресурсах особые фразы, побуждающие нейросети выполнять определенные действия при анализе сайтов, пишет РИА новости.
Исследование охватило открытые данные и внутренние источники, позволив изучить феномен уязвимости, характерные для многих систем на базе крупных языковых моделей. Суть метода заключается в добавлении текстовых инструкций, влияющих на работу чат-ботов.
Эксперты обнаружили несколько областей применения данной техники. В сфере трудоустройства соискатели используют скрытые инструкции в резюме, побуждая ИИ давать положительные рекомендации или повышать приоритет анкеты. В маркетинге подобные «инъекции» на сайтах товаров и услуг нацелены на формирование позитивных оценок продуктов в ответах поисковых чат-ботов.
Некоторые пользователи применяют метод для выражения протеста против повсеместного внедрения ИИ. Например, бразильский художник разместил на своем сайте инструкции, запрещающие нейросетям использовать его контент.
Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения, подчеркнул важность оценки потенциальных рисков подобных кибератак. Он отметил, что разработчики базовых моделей ИИ внедряют различные техники для усложнения «инъекций», включая специальное обучение и создание моделей для раннего обнаружения атак.
По словам Тушканова, обнаруженные случаи использования «инъекций» не носили злонамеренного характера. На данный момент киберугрозы, связанные с фишингом или кражей данных посредством «инъекций», остаются теоретическими. Однако эксперт подчеркнул необходимость оценки рисков и изучения методов обхода ограничений для защиты существующих и будущих решений на основе крупных языковых моделей, учитывая растущий интерес киберпреступников к нейросетям.
в удобном формате
Перейти в Дзен
