Исследователи Корнелла выпустили новую платформу с открытым исходным кодом под названием Cascade, которая может запускать модели искусственного интеллекта (ИИ) таким образом, что сокращает расходы и затраты на электроэнергию, одновременно значительно повышая производительность.
Cascade предназначен для таких условий, как интеллектуальные транспортные развязки, медицинская диагностика, обслуживание оборудования с использованием дополненной реальности, цифровое сельское хозяйство, интеллектуальные электросети и автоматический контроль продукции во время производства — ситуаций, когда модели искусственного интеллекта должны реагировать за доли секунды. Его уже используют исследователи Колледжа ветеринарной медицины, контролирующие коров на предмет риска мастита.
С развитием искусственного интеллекта многие компании стремятся использовать новые возможности, но беспокоятся о связанных с этим вычислительных затратах и рисках обмена частными данными с компаниями, занимающимися искусственным интеллектом, или отправки конфиденциальной информации в облако — удаленные серверы, доступ к которым осуществляется через Интернет.
Кроме того, современные модели ИИ работают медленно, что ограничивает их использование в ситуациях, когда данные необходимо передавать туда и обратно или модель управляет автоматизированной системой. Команда под руководством Кена Бирмана, профессора информатики Корнеллского колледжа вычислительной техники и информатики Энн С. Бауэрс, объединила несколько инноваций для решения этих проблем.
Бирман сотрудничал со старшим научным сотрудником Вейджи Сонгом для разработки системы периферийных вычислений, которую они назвали Cascade. Граничные вычисления — это подход, который размещает вычисления и хранение данных ближе к источникам данных, защищая конфиденциальную информацию. Разработанная Сонгом конструкция периферийных вычислений с «нулевым копированием» сводит к минимуму перемещение данных. По словам исследователей, моделям искусственного интеллекта не приходится ждать получения данных при реакции на событие, что позволяет быстрее реагировать.
«Cascade позволяет пользователям размещать машинное обучение и объединение данных очень близко к границе Интернета, поэтому действия с искусственным интеллектом могут выполняться мгновенно. Это контрастирует со стандартными подходами к облачным вычислениям, где частое перемещение данных от машины к машине заставляет те же ИИ ждать, что приводит к длительным задержкам, заметным для пользователя», — сказал Бирман.
Cascade дает впечатляющие результаты: большинство программ работают в 2–10 раз быстрее, чем облачные приложения, а некоторые задачи компьютерного зрения ускоряются в 20 и более раз. Более крупные модели ИИ видят наибольшую выгоду.
«Каскад часто вообще не требует никаких изменений в программном обеспечении ИИ», — сказал Бирман, оценивая простоту использования платформы.
В CVM Парминдер Басран, доцент кафедры медицинской онкологии кафедры клинических наук, и Маттиас Виланд, доцент кафедры популяционной медицины и диагностических наук, используют Cascade для мониторинга молочных коров на наличие признаков повышенного мастита.
Тьяго Гарретт, приглашенный исследователь из Университета Осло, использовал Cascade для создания прототипа «умной транспортной развязки». Его решение отслеживает скопление людей, автомобилей, велосипедов и других объектов, предвидит возможные столкновения и предупреждает о рисках — в течение миллисекунд после получения изображений. Когда он запустил ту же модель искусственного интеллекта в инфраструктуре облачных вычислений, потребовалось несколько секунд, чтобы предугадать возможные аварии, но было слишком поздно, чтобы подать предупреждение.
Группа Бирмана надеется, что с новым выпуском с открытым исходным кодом другие исследователи изучат возможные варианты использования Cascade, что сделает приложения искусственного интеллекта более доступными.