大模型也有自己的“摩尔定律”?2024世界人工智能大会期间,深耕端侧大模型的清华大学计算机系长聘副教授、面壁智能首席科学家刘知远分享了他的研究思路:“如果拥有在端侧有限的算力、内存、能耗条件下,将知识浓缩到更小的参数规模中的能力,那么便可探寻大模型的高效成长规律。”
图片来源:每经记者 张韵 摄
在训练大模型之前,刘知远会在“模型沙盒”中做成百上千次演练。他解释道,在小模型上高效寻找最优数据和超参配置,并外推至大模型,可找到一个更高的知识密度,从而带来一个更加高效的模型。
刘知远认为,如果说芯片制程会带来终端算力持续增强,模型制程也将带来模型知识密度的持续增长,那么两者交汇将揭示端侧智能的巨大潜力。因此,大模型时代会拥有自己的“摩尔定律”,即模型知识密度的持续增强。据刘知远观察,模型的知识密度呈现出每8个月提升一倍的规律。
刘知远进一步得出结论,未来高效大模型第一性原理的关键词便是知识密度,也就是每一次计算依托的参数规模所对应的能力消耗。当大模型数据驱动技术方向大致确定,模型的架构、算法、数据等技术方案却仍在高速迭代,因此持续改进模型制程、极致提升知识密度成为行业努力的方向。
每日经济新闻
(责任编辑:王治强 HF013)
The End