Недавнее исследование, проведенное учеными Колумбийского университета, выявило существенные ограничения в способности крупных языковых моделей, включая ChatGPT-4, извлекать достоверную информацию из медицинских документов.
Результаты работы, опубликованной в JAMA Network Open, демонстрируют неспособность ChatGPT-4 надежно определять факт использования защитных шлемов пациентами, получившими травмы при езде на скутерах и велосипедах.
Исследование охватило анализ 54 569 случаев обращений в отделения экстренной медицинской помощи за период с 2019 по 2022 год.
Выяснилось, что ChatGPT-4 не смог эффективно заменить традиционные методы текстового поиска для извлечения данных о применении шлемов. Модель демонстрировала удовлетворительные результаты лишь при наличии полного набора текстовых фрагментов, используемых в стандартном строковом поиске. Особые затруднения у системы вызывала интерпретация отрицательных формулировок, например, «без шлема».
Несмотря на потенциал использования крупных языковых моделей для анализа медицинских записей, текущий уровень развития технологий существенно ограничивает их надежность.
Исследователи подчеркивают неспособность ChatGPT-4 последовательно выполнять поставленную задачу, что указывает на необходимость разработки более совершенных методов извлечения информации из клинических документов.
в удобном формате
Перейти в Дзен
