Чем дольше работает команда DeepMind на деньги Гугла, тем больше ощущение близости ИИ. Вот сегодня они показали статью и примеры работы своей новой языковой модели Gopher. Она ощутимо больше уже ставшей стандартом де-факто GPT-3, в ней 280 миллиардов параметров. Модель гигантская, но то как она умеет отвечать на информационные запросы потрясает - это уже результат сильно лучше, чем у среднего человека.

Если посчитать, человеческий неокортекс состоит из 20 миллиардов нейронов, образующих по 10-15 тысяч соединений каждый. Т.е. двести триллионов соединений всего. Т.е. это уже всего на несколько порядков меньше чем весь обьем человеческого мозга. Приравнивать параметры модели к межнейронным связям наивно, однако масштаб модели поистине поражает deepmind.com/blog/article/language-modelling-at-scale

Language modelling at scale: Gopher, ethical considerations, and retrieval

Language, and its role in demonstrating and facilitating comprehension - or intelligence - is a fundamental part of being human. It gives people the ability to communicate thoughts and concepts, express ideas, create memories, and build mutual understanding. These are foundational parts of social intelligence. It’s why our teams at DeepMind study aspects of language processing and communication, both in artificial agents and in humans.