При обучении Google PaLM было использовано 780 млрд токенов — эти элементы обучения больших языковых моделей помогают нейросетям предсказывать последующие слова в последовательностях.
А вот для Google PaLM 2 было использовано 3,6 трлн токенов. И это больше, чем у всех существующих сейчас моделей.
Это та самая, на которой работает Bard