FAMILY / GOOGLE DEEPMIND
Gemini 之前的 Google 语言模型历史:LaMDA 的对话研究,以及 PaLM、PaLM 2 的通用语言能力。它们不构成一条已证实的训练继承链。
01 / LINEAGE MAP
02 / GENERATIONS
Google 面向开放式对话的语言模型研究路线,强调对话质量与主题延展。
使用 Pathways 系统训练的 540B Dense 语言模型,展示规模化的多任务与少样本能力。
PaLM 的后续家族,提升多语言、推理与代码能力,并驱动当时的 Bard 及多个 Google 产品。