发布日期
— DeepSeekMoE 16B 公开发布，以细粒度专家和共享专家隔离探索高效 MoE。 ↗
模型编号023
- 首次公开日期
- 2024-01-11
- 组织
- DeepSeek
- 家族
- DeepSeek V / R
01
规格概览
仅展示已有公开资料的规格。
- 总参数
- 16.4B
- 架构
- MoE
- 上下文
- 4,096 tokens
- 输入模态
- 文本
- 开放权重
- 是
- 许可证
- DeepSeek Model License
- 状态
- 历史版本
02
概览
为什么重要
DeepSeekMoE 是 V2 之前验证高效稀疏专家路线的关键中间节点。
03
架构与能力
模型能力
混合专家多语言
待分类标签
高效率
04
发布历史
DeepSeekMoE 16B 公开发布，以细粒度专家和共享专家隔离探索高效 MoE。
查看原文05
相关模型
点击卡片查看相关模型。
06
来源
建议修正这条记录
复制下方模板，补上字段、建议值和一手来源后发给资料维护者。