留学|计算机科学领域关注的ACL2022

2022-06-13

关注

理科留学生比较关注5月份刚刚结束的ACL2022，计算语言学协会（ACL）是国际首屈一指的科学和专业协会，为从事涉及人类语言的计算问题的人们提供服务，该领域通常被称为计算语言学或自然语言处理（NLP）。该协会成立于1962年，最初名为机器翻译和计算语言学协会（AMTCL），并于1968年成为ACL。

ACL的活动包括每年夏天举行一次年度会议，并赞助麻省理工学院出版社出版的《计算语言学》杂志。这个会议和《计算语言学》期刊是该领域的主要出版物。

ACL会议是人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第 60 届 ACL 大会， 2022 年 5 月 22 日至 27 日在爱尔兰都柏林召开。

本届大会主会议共接收了 604 篇长论文和 97 篇短论文。

ACL 2022 公布了今年的获奖工作，华人学者表现突出：今年的 ACL 一共选出八篇杰出论文，其中，四篇由中国机构或海外知名华人学者获得，占了一半！

获奖企业包括阿里达摩院、华为诺亚方舟实验室等，而获奖工作的华人作者有陈丹琦、杨笛一、金榕等知名学者。

获奖论文和作者介绍

最佳论文

本届最佳论文（Best Paper）来自加州大学伯克利分校研究团队，该研究提出了一种增量句法表示。

作者：Nikita Kitaev, Thomas Lu 、Dan Klein

机构：加州大学伯克利分校

链接：https://aclanthology.org/2022.acl-long.220.pdf
该研究使用更强大的预训练模型和额外监督，将相同的预训练编码器与深度双向处理相结合，结合所有因素，达到96.38 F1。这表明该研究可以诱导出具有竞争性精度的解析树。该研究还对系统学习到的表示进行了分析，他们研究了系统捕获的可解释句法特征等属性，以及句法歧义的延迟解决机制。但是这些技术由于它们侧重于深入的双向神经处理而不能被借用到增量设置中。

Daniel Klein

1998年，Klein 在康奈尔大学拿到数学、计算机科学、语言学3个学士学位。同年他去了牛津大学，在语言学专业上获取本硕博学位。1999年博士毕业他再次进入斯坦福攻读计算机科学博士学位，后进入伯克利人工智能实验室（BAIR）。

得益于多年的语言学和计算机学科的学科背景，他在自然语言处理的研究上成绩斐然。Klein 教授的研究包括无监督学习方法、句法解析、信息提取和机器翻译。

Daniel Klein曾获得ACM 的 Grace Murray Hopper 奖、斯隆研究奖学金、美国国家科学基金会CAREER奖和微软新教师奖学金。多次在ACL、NAACL、EMNLP获得最佳论文奖。

Dan培养了许多优秀学生，如Aria Haghighi、John DeNero 和 Percy Liang（梁博士，华人，是谷歌助手背后核心语言理解技术的创造者。）

杰出论文

作者：Xiangpeng Wei、Heng Yu、Yue Hu、Rongxiang Weng、Weihua Luo、Rong Jin

机构：阿里达摩院、中科院信息工程研究所、中国科学院大学

论文地址：https://arxiv.org/pdf/2204.06812v1.pdf
论文摘要：监督神经机器翻译（NMT）在学习生成以来自一组并行句子对的源输入为条件的目标句子时，通常观察到模型的泛化性受训练中使用的并行数据量的影响很大。因此，研究者提出了一种新的数据增强范式——连续语义增强（Continuous Semantic Augmentation, CsaNMT），为每个训练实例增加了一个邻接语义区域。

金榕

金榕现任阿里巴巴集团副总裁、达摩院副院长。他曾是密歇根州立大学终身教授，曾任NIPS、SIGIR等顶级国际学术会议的主席，获得过美国国家科学基金会NSF Career Award。2014年7月，42岁的金榕决定加入阿里巴巴，成为达摩院机器智能实验室负责人。终身教授、海归科学家、不是学霸、浪漫绝缘体等标签齐聚在金榕身上，他被同事称为“随和得最不像科学家的科学家”。

作者：Caleb Ziems、Minzhi Li、Anthony Zhang、Diyi Yang

机构：佐治亚理工学院、新加坡国立大学
论文地址：https://arxiv.org/pdf/2204.02952v1.pdf
论文摘要：该研究引入了积极重构任务，在该任务中，该研究为作者生成更积极的观点，并且不易与原始含义产生矛盾。该研究引入了一个大规模的基准，积极心理学框架（POSITIVE PSYCHOLOGY FRAMES），其具有 8349 个句子对和 12755 个结构化注释，以根据六种理论动机的重构策略来解释积极重构。

杨笛一

她曾就读陕西省兴平市西郊高级中学，2009年，高考中以优异的成绩考入上海交通大学，在俞勇老师的感染下加入聚集各路竞赛大神的ACM班。本科期间发表4篇顶会论文，一作2篇，获得2012年谷歌Anita Borg 计算机学科女性奖学金、2013年上海交大致远杰出学生奖学金。

2013年，杨笛一从上海交大ACM班毕业，赴卡内基梅隆大学语言技术研究所攻读硕士、博士，28岁成为佐治亚理工学院的助理教授。后因杨笛一在NLP领域的卓越成就，入选2020年“福布斯30位30岁以下科学精英榜”（Forbes 30 Under 30 list in Science）。

作者：Huihan Li、高天宇、Manan Goenka、陈丹琦

机构：普林斯顿大学

论文地址：https://arxiv.org/pdf/2112.08812v2.pdf

论文摘要：在这项工作中，该研究对 SOTA 对话式 QA 系统进行了首次大规模人类评估，通过人类与模型对话判断答案正确性。研究发现人机对话的分布与人-人对话的分布有很大的不同。人类评估和黄金历史（goldhistory）评估存在分歧，该研究进一步改进自动评估，并提出了预测历史重写机制，以便和人类判断更好地关联。最后，该研究分析了各种建模策略的影响，并讨论了构建更好的对话式问答系统的未来方向。

陈丹琦

2008年毕业于长沙市雅礼中学，同年8月赴埃及开罗参加第20届国际信息学奥林匹克竞赛获得金牌，之后免试录取进入清华大学，2012年毕业于清华大学计算机科学实验室（姚班），同年赴美留学。曾经是Facebook人工智能访问科学家，2018年凭借博士论文《Neural Reading Comprehension and Beyond》获得斯坦福大学博士，师从Christopher Manning，丈夫是清华大学同班同学，计算机科学家俞华程。

2019年担任普林斯顿大学计算机科学系助理教授。2021年入选Google人工智能2021研究学者计划。

本文一作高天宇师从陈丹琦，目前是普林斯顿大学的二年级博士生，本科毕业于清华大学，曾经获得清华本科特等奖学金。

作者：陶超凡、侯璐、张伟、尚利峰、蒋欣、刘群、罗平、黄毅

机构：香港大学、华为诺亚实验室

论文地址：https://arxiv.org/pdf/2203.10705v1.pdf

论文摘要：本文采用量化方法对生成式 PLM（Pre-trained Language Models）进行压缩，提出了一种 token 级的对比蒸馏方法来学习可区分的词嵌入，此外，研究还提出了一种模块级的动态扩展来使量化器适应不同的模块，在各种任务的经验结果表明，该研究提出的方法在生成 PLM 上明显优于 SOTA 压缩方法。在 GPT-2 和 BART 上分别实现了 14.4 倍和 13.4 倍的压缩率。

第一作者陶超凡，香港大学（HKU）博士研究生，师从香港大学的黄毅和罗萍。研究兴趣是高性能机器学习（网络压缩和加速），并应用于视觉和语言任务，论文发表在ACL/ECCV/CIKM/AAAI等。

参会现场分享

2022年的ACL会议在都柏林线下和在线举行。会议日程安排：

以下为参与会议现场图片：

5月22日会议第一天，各种Tutorial，一个接着一个，内容很丰富。

有人推荐了这篇，关于 Zero and Few-Shot NLP 的tutorial:
https://github.com/allenai/acl2022-zerofewshot-tutorial
对 Zero 和 Few-Shot NLP 感兴趣的同学一定要看一下，绝对会受益匪浅！

5月23日-25日，主会内容更丰富：

以下是新加坡南洋理工的研究生的oral session现场，他们的论文是continual few-shot relation learning via embedding space regularization （IBM Plex Sans", Roboto, Arial, serif;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: left;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;float: none;">通过嵌入空间正则化和数据增强进行连续的少镜头关系学习）。