Исследователи обнаружили фундаментальную проблему в архитектуре современных систем искусственного интеллекта, препятствующую их непрерывному обучению. Нейронные сети, лежащие в основе ИИ, теряют способность усваивать новую информацию после начальной тренировки. Об этом стало известно журналу New Scientist.
Команда ученых под руководством Шибханша Дохаре из канадского Университета Альберты провела эксперименты с различными алгоритмами обучения. Результаты показали, что после нескольких тысяч циклов переобучения большинство искусственных нейронов «отмирают», становясь неспособными к дальнейшему восприятию информации.
Со слов ученого, проблема заключается в самой природе нейронных сетей. Однако исследователи предложили возможное решение — алгоритм, случайным образом активирующий «мертвые» нейроны после каждого раунда обучения.
Эксперты отмечают, что успешное решение проблемы непрерывного обучения ИИ может значительно снизить затраты на разработку и поддержку крупных языковых моделей. Однако предложенный метод требует дальнейших испытаний на более масштабных системах.
