Утекшие документики из Гугла показывают, что новая языковая модель PaLM 2 обучена на значительно большем обьеме текстовых данных, разница почти в 5 раз. 3.6 триллионов токенов и 340 миллиардов параметров, вот это я называю “закидать проблему деньгами”. Боюсь представить, сколько стоило обучение этой модели, и сколько сейчас стоит её эксплуатация в продакшне.
www.cnbc.com/2023/05/16/googles-
Google's newest A.I. model uses nearly five times more text data for training than its predecessor
In announcing its PaLM 2 large language model, Google neglected to say how much training data was used for its most advanced LLM.