模型索引
智谱 · Z.ai·GLM

ChatGLM2-6B

第二代中英双语对话模型,使用多查询注意力并将上下文扩展至 32K。

历史版本语言开放权重
模型编号220
首次公开日期
2023-06-25
组织
Z.ai
家族
GLM
01

规格概览

仅展示已有公开资料的规格。

总参数
6B
架构
Dense
上下文
33K
输入模态
文本
输出模态
文本
开放权重
状态
历史版本
02

概览

概览

第二代中英双语对话模型,使用多查询注意力并将上下文扩展至 32K。

03

相对前代的变化

对比 ChatGLM-6B

前代ChatGLM-6B6.2B · 2K ctx
当前ChatGLM2-6B6B · 33K ctx
04

架构与能力

注意力机制

MQA
05

发布历史

06

相关模型

点击卡片查看相关模型。

07

来源