Многочисленные компании, занимающиеся искусственным интеллектом (ИИ), обходят общепринятый веб-стандарт, используемый издателями для блокировки сбора их контента с целью использования в генеративных системах ИИ. Об этом сообщил стартап по лицензированию контента TollBit в письме издателям.
Данная ситуация возникла на фоне публичного спора между поисковым стартапом Perplexity и Forbes, касающегося того же веб-стандарта, а также более широких дебатов между технологическими и медиафирмами о ценности контента в эпоху генеративного ИИ.
TollBit, позиционирующий себя как посредника между компаниями ИИ и издателями, отслеживает трафик ИИ на веб-сайты издателей и использует аналитику для урегулирования комиссий за использование различных типов контента. Согласно письму TollBit, многочисленные агенты ИИ обходят протокол robots.txt, стандартный инструмент, используемый издателями для указания, какие части их сайта можно обойти.
Протокол robots.txt, созданный в середине 1990-х годов, стал ключевым инструментом, который издатели используют, чтобы запретить технологическим компаниям бесплатно использовать их контент в генеративных системах ИИ. Однако, как показывает практика, компании ИИ предпочитают игнорировать данный протокол для извлечения контента с сайтов издателей.
