Ян ЛиКун написал рецензию к заметке ребят из Nebla, развенчивающих мифы о применениях и применимости GPT3, в частности в медицине. Мне это показалось настолько искренним и важным, что я вам перевел его преамбулу, сама работа тоже важная почитайте ее:
------
“У некоторых людей совершенно нереалистичные ожидания относительно того, на что способны крупномасштабные языковые модели, такие как GPT-3.
Это простое объяснительное исследование моих друзей из Nabla развенчивает некоторые из этих ожиданий для людей, которые думают, что крупномасштабные языковые модели могут быть использованы в здравоохранении.
GPT-3 - это языковая модель, что означает, что вы подаете ему текст и просите его предсказать продолжение текста, по одному слову за раз. GPT-3 не имеет никаких знаний о том, как на самом деле работает мир. Он только кажется, что имеет некоторый уровень фоновых знаний, в той мере, в какой это знание присутствует в статистике текста. Но это знание очень поверхностно и оторвано от глубинной реальности.
Как система вопросов-ответов, GPT-3 не очень хорош. Другие подходы, которые явно построены для представления огромного объема знаний в "нейронной" ассоциативной памяти, лучше в этом разбираются.
Как диалоговая система, она также не очень хороша. Опять же, другие подходы, которые явно предназначены для взаимодействия с людьми, лучше c этим справляются.
Это увлекательно и, возможно, полезно в качестве помощи в творчестве. Но попытка построить интеллектуальные машины путем масштабирования языковых моделей похожа на высотные самолеты для полета на Луну. Вы можете побить рекорды высоты, но для того, чтобы отправиться на Луну, потребуется совершенно другой подход.
Вполне возможно, что некоторые из нынешних подходов могут стать основой хорошей системы контроля качества для медицинского применения. Систему можно обучить всей медицинской литературе и ответить на вопросы врачей.
Но компиляция огромного объема оперативных знаний из текста все еше остается очень важной исследовательской темой.”
-------
Заметка Nabla: www.nabla.com/blog/gpt-3/
Фейсбук ЛиКуна www.facebook.com/yann.lecun/post
Doctor GPT-3: hype or reality? - Nabla
With Nabla, your care team is here every day whether you have a little scratch, something you’re worried about, an ambitious health goal or you just want to stay healthy.