ИИ-модели ошибались в спорных медицинских случаях в 80% случаев

Шесть коммерческих моделей искусственного интеллекта проверили на умение распознавать, когда пациенту не нужны дополнительные обследования или лечение. Исследование провели учёные из Университета имени Бен-Гуриона в Негеве (Ben-Gurion University of the Negev) и израильской медицинской организации Clalit Health Services, результаты опубликованы в журнале Annals of Internal Medicine.

В среднем модели рекомендовали ненужное вмешательство в 5,4% ответов. Ошибочный отказ от необходимой помощи встречался в 0,6% случаев.

Как устроена проверка

Для теста подготовили 225 клинических сценариев на основе 15 рекомендаций международной кампании Choosing Wisely, которая добивается сокращения необоснованных процедур. К каждому случаю, где обследование не требовалось, подобрали похожий, где то же вмешательство было нужно. В примере из работы молодому мужчине с болью в спине после подъёма мебели визуализация позвоночника не нужна, а женщине с перенесённым раком молочной железы и новой ночной болью в спине такое обследование может понадобиться. Каждая из шести моделей прошла все сценарии трижды — всего получено 4050 ответов.

Где именно ошибались

Лишние назначения чаще всего касались двух процедур: ультразвукового исследования щитовидной железы и стандартной электрокардиографии (ЭКГ). В первом случае причина в разногласиях между Американской тиреоидной ассоциацией и Американской коллегией радиологии по поводу обследования узлов щитовидной железы размером менее 1 см. Когда медицинские рекомендации расходятся, решения тоже получаются разными.

Средние 5,4% скрывают большой разброс между моделями. Исследователь Гай Лабан (Guy Laban) указал, что в одних и тех же спорных ситуациях одна модель предлагала ненужное обследование менее чем в 10% случаев, другая — в 80%. Он также отметил, что пользователи нередко воспринимают ответ чат-бота как единое авторитетное мнение, хотя расхождения между моделями могут быть значительными. Врач Дин Ариэль (Dean Ariel) добавил, что основные затруднения возникали там, где нет полной определённости и у самих медиков.

Чего исследование не показывает

Ограничения работы авторы называют сами. Модели получали отдельные запросы и не вели продолжительных диалогов с пациентами, а проверка шла на стандартизированных сценариях, а не на реальных консультациях. Ответы сначала оценивала другая система ИИ, затем врачи проверяли результаты и разбирали спорные случаи. Поэтому переносить эти цифры на поведение медицинских чат-ботов в повседневной практике нельзя.

Следующий вопрос авторов — удержат ли модели обоснованный отказ от ненужного обследования, если пациент настаивает на нём или тревожится из-за своего состояния. Этого исследование не проверяло. Лабан считает, что отказать человеку в желаемом обследовании непросто даже врачу, а языковые модели склонны подстраиваться под собеседника.