14-混合专家模型（MoEs）技术揭秘

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

混合专家模型（MoEs）技术揭秘
      彭靖田
  Google Developer Expert
目录
     混合专家模型（Mixture-of-Experts, MoEs）技术发展简史
       开山鼻祖：自适应局部专家混合（ Michael I. Jordan & Hinton, 1991）
       多层次混合：深度MoEs中的表示学习（ Ilya, 2013）
       稀疏门控：支持超大网络的MoEs（Hinton & Jeff Dean, 2017）
     MoEs 与 大模型结合后的技术发展
       GShard：基于 MoE 探索巨型 Transformer 网络（Google, 2020）
       GLaM：使用 MoE 扩展语言模型性能（Google, 2021）
       Switch Transformer：使用稀疏技术实现万亿模型（Google, 2022）
       MoEs 实例研究：Mixtral-8x7B-v0.1（Mistral AI, 2023）
 Mixtral 8x7B ：质 ...

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：transform developer Michael Mixture Develop