Магистр права 4.0 из OpenAI правильно ответил на 85% вопросов Американского совета психиатрии и неврологии, подразумевая потенциально "значительное" будущее использование технологии.
Последнее обновление большой языковой модели OpenAI (LLM), ChatGPT 4.0, успешно сдало экзамен по клинической неврологии с 85% правильных ответов в ходе проверки концепции. Авторы исследования полагают, что после некоторой доработки LLMS может найти "значительное применение" в клинической неврологии.
Результаты эксперимента, проведенного группой исследователей из университетской больницы Гейдельберга и Немецкого центра исследований рака в Гейдельберге, были опубликованы 7 декабря. В тесте, проведенном 31 мая, участвовали два LLM, ChatGPT 3.5 и его более поздняя версия, ChatGPT 4.0.
Исследователи использовали банк вопросов для экзамена по неврологии от Американского совета психиатрии и неврологии с небольшой группой вопросов от Европейского совета по неврологии.
В то время как более старая версия ChatGPT набрала 66,8% баллов, правильно ответив на 1306 из 1956 вопросов, более поздняя модель, ChatGPT 4.0, набрала 85% баллов с 1662 правильными ответами. Средний человеческий балл составил 73,8%. ChatGPT 4.0 превзошел обычных пользователей в вопросах, связанных с поведением, когнитивными процессами и психологией, и эффективно “сдал” экзамен по неврологии, поскольку 70% правильных ответов обычно считаются проходным баллом в учебных заведениях.
Однако обе модели продемонстрировали более низкую производительность в заданиях, требующих “мышления высшего порядка”, чем в вопросах, требующих только “мышления низшего порядка”.
По мнению группы исследователей, проводивших эксперимент, эти результаты служат рекомендацией использовать LLMS в клинической неврологии после некоторых модификаций:
“Эти результаты свидетельствуют о том, что при дальнейших усовершенствованиях большие языковые модели могут иметь значительное применение в клинической неврологии”.
Исследователи отмечают, что все еще есть несколько оговорок. Хотя существует четкая перспектива применения LLMS в системах документации и поддержки принятия решений, неврологи должны быть осторожны при их использовании на практике, поскольку они все еще несовершенны в отношении когнитивных задач высокого порядка. В беседе с Cointelegraph один из авторов исследования, доктор Варун Венкатарамани, сказал:
Мы рассматриваем наше исследование скорее как подтверждение концепции возможностей LLM. Все еще требуется разработка и, возможно, даже конкретная доработка LLM, чтобы сделать их должным образом применимыми в клинической неврологии.
Искусственный интеллект уже работает над некоторыми важными задачами в сфере здравоохранения, такими как поиск лекарства от рака для AstraZeneca или борьба с чрезмерным отпуском антибиотиков по рецепту в Гонконге.
" 
