【本文来自《深圳用昇腾910C集群完成1.6万亿参数大模型训练》评论区,标题为小编添加】

我做的小模型,平常不需要GPU,不需要词元,通过多模态创作引擎就能依主题、格律风格、韵部、对仗、语意类型及自己的心境(三条件)写诗、填词( 词牌名,格式,自主想法)、出联、作词(歌词)。存储量还低,一部《民法典》全篇纯文字240KB,经过小模型处理后只有62.3KB,而且100%准确呈现。而算力则用于专用算子,用于工程计算;不需要片沥算力,只占词元40%对齐消耗。同等参数下,中文数据占用空间比词元少(13篇中文word格式文章2.63MB,通过小模型处理只用28KB磁盘空间,还能正常呈现),英文与词元持平。