ИИ-модели нашли до 99% крупных ошибок в отчётах о клинических испытаниях
Препринт на medRxiv сообщает, что 15 LLM превзошли человеческий ориентир в 27%, но оценки выставляли другие LLM, а контрольные отчёты тоже вызвали много замечаний.
Пятнадцать больших языковых моделей обнаружили от 58% до 99% намеренно внесённых крупных методологических ошибок в отчётах по 58 рандомизированным клиническим испытаниям, говорится в новом препринте на medRxiv. В исходном эксперименте, который воспроизвели авторы бенчмарка, 607 неподготовленных рецензентов находили в среднем 27% крупных ошибок.
Исследователи добавили известные ошибки в свежие отчёты об испытаниях и получили 1 796 рецензий. Четыре модели с открытыми весами набрали от 66% до 89%, а время подготовки рецензии у всех моделей составляло от 1,4 до 16,3 минуты. Результат показывает, что ИИ может работать быстрым вторым рецензентом и замечать проблемы, которые пропускает обычная проверка.
Это не доказывает, что ИИ должен заменить людей. Работа ещё не прошла рецензирование, а ответы моделей оценивали две другие LLM вслепую. Кроме того, модели отмечали от 14% до 29% проверяемых типов ошибок и в неизменённых контрольных отчётах: часть замечаний может быть обоснованной, но не каждое из них подтверждено. Четверо авторов связаны с ResearchHub Foundation, которая внедряет ИИ-рецензирование. Практический вывод уже: проверка только людьми может оставлять устранимые ошибки, а ИИ-помощников стоит применять контролируемо и независимо валидировать.
