4月26日,北京大学邓明华教授应邀来统计与大数据学院作了题目为《预训练模型在单细胞数据分析中的应用》的报告。学院领导、青年教师及研究生参加了此次报告会。
预训练(Pre-training)是大语言模型的基础,也是当前机器学习和深度学习领域中一种重要的技术。邓教授的报告主要围绕scEMAIL和CANAL展开,这两个项目都以细胞类型分类为任务,以预训练模型为基础。
在scEMAIL项目中,邓教授团队利用标记良好的源数据,通过有监督学习得到预训练源模型,然后对源模型进行自监督微调,实现对目标数据的类型标注。而在CANAL项目中,邓教授团队采用了非监督预训练策略得到预训练模型,并通过经验重放模式和表示知识蒸馏技术,能够在保持过去学习阶段知识的同时,吸收新细胞类型。
邓明华教授的报告内容丰富,开阔了全院师生的视野,为我们在数据分析领域的研究提供宝贵的启示和指导。
(审核:刘方 编审:郭粹 签审:孙海平)