一文看懂moe的前世今生

人民文化遗产旗下“人民探源”将通过一文读懂、一图读懂、前世今生系列内容带领大家一起“探源”国际博物馆日的前世今生。一、国际博物馆协会 InternationalCouncilofMuseums（ICOM）1946 “5·18国际博物馆日”的设立，是国际...

一、MoE的前世今生：老树又冒新芽 MoE（Mixture-of-Experts，专家混合），首次出现于1991年的论文 Adaptive Mixture of Local Experts 中，其前身是“集成学习”（Ensemble Learning），作为一种由专家模型和门控模型组成稀疏...