Исследователи из Университета Альберты, специализирующиеся на искусственном интеллекте (ИИ) и компьютерных науках, разработали инновационный метод, позволяющий преодолеть проблему катастрофического забывания в современных искусственных нейронных сетях. Данное открытие, описанное в статье, опубликованной в журнале Nature, открывает возможности для бесконечного обучения ИИ.
Катастрофическое забывание представляет собой явление, при котором нейронные сети, обучаясь новым задачам, утрачивают способность выполнять ранее освоенные функции. Данная проблема характерна и для крупных языковых моделей (LLM), включая серию GPT, поскольку они разрабатывались как системы, обучающиеся на фиксированных наборах данных.
Процесс обучения нейронной сети включает математические вычисления, модифицирующие веса связей между искусственными нейронами. Аналогично силе синаптических связей в биологическом мозге, веса определяют значимость передаваемой информации. Современные методики обучения базируются на алгоритмах стохастического градиентного спуска и обратного распространения ошибки. Однако в текущем виде данные алгоритмы не способны эффективно сочетать старые и новые данные, причины чего остаются не полностью изученными.
В рамках нового исследования ученые применили стандартные алгоритмы обучения и классические наборы данных ImageNet и CIFAR-100, адаптированные для непрерывного обучения. Было установлено, что методы глубокого обучения теряют эффективность при непрерывном обучении, что получило название «потеря пластичности».
Для решения данной проблемы и обеспечения долгосрочной пластичности нейросетей исследователи предложили сбрасывать веса менее активных узлов между сеансами обучения. Новый алгоритм, названный непрерывным обратным распространением ошибки, предусматривает повторную инициализацию небольшого количества менее используемых и случайно выбранных единиц, используя методы, применяемые при первоначальной настройке системы.
Доказано, что данный подход позволяет нейросетям продолжать обучение на новых наборах данных без утраты ранее приобретенных знаний, открывая перспективы для создания более адаптивных и гибких систем искусственного интеллекта.
в удобном формате
Перейти в Дзен
