May 17, 2023

Утекшие документики из Гугла показывают, что новая языковая модель PaLM 2 обучена на значительно большем обьеме текстовых данных, разница почти в 5 раз. 3.6 триллионов токенов и 340 миллиардов параметров, вот это я называю “закидать проблему деньгами”. Боюсь представить, сколько стоило обучение этой модели, и сколько сейчас стоит её эксплуатация в продакшне.

www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html

Google's newest A.I. model uses nearly five times more text data for training than its predecessor

In announcing its PaLM 2 large language model, Google neglected to say how much training data was used for its most advanced LLM.