报 告 人

张民，博士，哈尔滨工业大学（深圳）教授，国家杰出青年基金获得者，国家“百千万”人才。

报告时间

2022年11月5日上午10：40

报告地点

香溢大酒店

报

告

内

容

简

介

报告内容简介：

基于Transformer的序列生成模型的随机性类型可概括为两类：（1）模型优化所涉及的多粒度辅助随机性，如数据（word-drop）、神经元(dropout)、网络结构(layer-drop)等随机性；（2）（条件）语言模型建模所基于的随机性，如随机掩码语言模型目标（MLM/CMLM）。针对以上两类随机性，本次报告介绍如何设计简单且高效的约束策略，包括模型输出空间的约束方法（R-Drop）和二次自适应掩码策略。相关方法已经在自回归(AT)和非自回归(NAT)两类主流生成范式、多个代表性序列生成任务和数十个数据集上取得显著效果提升，部分成果成功应用于产业界。

报告人简介：

张民，博士，哈尔滨工业大学（深圳）教授，特聘校长助理,计算与智能研究院院长。国家杰出青年基金获得者，国家“百千万”人才，国家有突出贡献中青年专家，鹏城孔雀计划A类人才，江苏省双创人才和双创团队首席科学家。长期从事自然语言处理、机器翻译和人工智能研究。发表论文200余篇，专著2部，英文论著（论文集）16本，部级科技进步奖4项，会议最佳论文3篇。享受国务院政府特殊津贴。

承办单位

电信学院

发布日期

2022年10月27日

欢迎广大教师、学生参加