xAI (это тот самый ИИ-стартап от Маска) заявил, что разработал и обучил свою собственную языковую модель. Модель построена на классических уже трансформерах (у прошлой их модели было 33 миллиарда параметров), 8к контекста, при этом заявлено, что по своим результатам модель близка или лучше своих конкурентов. Сравниваются они, конечно, со всем, кроме GPT-4, потому что до него еще далеко.
Верить результатам замеров или нет — выбор каждого. Я в этих результатах ничего сложного не вижу, примерно такого можно достичь при неограниченных ресурсах и прямом доступе к интересным датасетам (в данном случае — при полном доступе к Твиттеру, например)
Grok-1 Model Card by xAI
A description of xAI's Grok-1 large language model.