ACL 2023最佳论文出炉！CMU西交大等摘桂冠
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models作者：Shangbin Feng, Chan Young Park, Yuhan Liu and Yulia Tsvetkov机构：华盛顿大学、卡内基梅隆大学、西安交通大学https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2023%2F0711%2F19603d87j00rxm7za001ld200kv005vg00id0055.jpg&thumbnail=660x2147483647&quality=80&type=jpg论文地址：https://arxiv.org/pdf/2305.08283.pdf语言模型在不同的数据源上进行预训练，包括新闻、论坛、书籍和在线百科全书等等。这些数据中有很大一部分包含了一些观点和看法，这些观点和看法一方面颂扬民主和思想的多样性，另一方面又带有固有的社会偏见。在这篇论文中，研究人员开发了新的方法：（1）沿着社会和经济轴测量在此类语料库上训练的LM中的政治偏见；（2）测量在有政治偏见的LM之上训练的下游NLP模型的公平性。研究人员专注于仇恨言论和错误信息检测，旨在通过经验量化预训练数据中的政治（社会、经济）偏见对高风险社会导向任务公平性的影响。研究结果表明，预训练的LM确实具有政治倾向，这种倾向强化了预训练语料中存在的两极分化，将社会偏见传播到仇恨言论预测和错误信息检测中。最后研究人员讨论了他们的发现对NLP研究的影响，并提出了减轻不公平的未来方向。
总共有三篇被评为最佳论文，虽然只是三作，也是三篇最佳论文里唯一露脸的中国机构了。 祝贺西交！ nideduoqing 发表于 2023-7-12 09:29
总共有三篇被评为最佳论文，虽然只是三作，也是三篇最佳论文里唯一露脸的中国机构了。 ...
Shangbin Feng 目前在华盛顿大学读博，本科毕业于西安交通大学， 印象中，历年国内机构累计荣获ACL最佳论文的应该是个位数 水木 发表于 2023-7-12 09:32
Shangbin Feng 目前在华盛顿大学读博，本科毕业于西安交通大学，
计算机18级的 水木 发表于 2023-7-12 09:32
Shangbin Feng 目前在华盛顿大学读博，本科毕业于西安交通大学，
毕业了如果回国进入学术界可以尝试引进一下 水木 发表于 2023-7-12 09:36
印象中，历年国内机构累计荣获ACL最佳论文的应该是个位数
这种顶会最佳论文很难的，不可能两位数，有个两三次就不错了 academic818 发表于 2023-7-12 10:02
这种顶会最佳论文很难的，不可能两位数，有个两三次就不错了
国内在计算机，人工智能领域的基础理论，核心算法上，和老美的差距还是很大啊。 一作是交大少年班22届的学生，三作是交大少年班大三在读的。 西少的，那很正常嘛 西少的平均生源质量能否达到华五？ 最佳论文和杰出论文有啥区别呀，我看复旦有篇杰出论文 nideduoqing 发表于 2023-7-12 11:40
西少的平均生源质量能否达到华五？
少年班方差很大，两极分化，好的有清北水平，差的可能还不如211 己不欲，勿施人 发表于 2023-7-12 11:55
最佳论文和杰出论文有啥区别呀，我看复旦有篇杰出论文
今年广义上的Best Paper有三类，3篇最佳论文，39篇杰出论文
另外还有各个子方向的领域主席奖，每个方向一篇，一共12篇
今年颁奖的数量比往年多不少，复旦、清华、南理工、中科大等学校都有获奖 ls01 发表于 2023-7-12 11:57
少年班方差很大，两极分化，好的有清北水平，差的可能还不如211
养蛊式培养 水木 发表于 2023-7-12 11:03
国内在计算机，人工智能领域的基础理论，核心算法上，和老美的差距还是很大啊。 ...
确实，说到底 都是用的老美从全世界聚集的人才发明的transformer网络基础上 ls01 发表于 2023-7-12 11:57
少年班方差很大，两极分化，好的有清北水平，差的可能还不如211
讲道理 我觉着你说的还是保守了 认识的少年班的太多了 我的评价是“强的有那种放清北里面也是绝顶天才的 菜的有放在西安理工都本科毕业不了的” nideduoqing 发表于 2023-7-12 11:40
西少的平均生源质量能否达到华五？
不好比较，毕竟从初三选拔的，没有高三，高中只有两年预科吧，我认识的清北，人大的朋友里面有在初中考交大少年班落榜的，或者放弃的，高中阶段也是在 国内几个著名高中委托培养的。 这不科学诶 发表于 2023-7-12 12:03
今年广义上的Best Paper有三类，3篇最佳论文，39篇杰出论文
另外还有各个子方向的领域主席奖，每个方向一 ...
往年最佳论文好像每年就一篇吧，国内机构几十年累计应该没有超过5篇的。 nideduoqing 发表于 2023-7-12 11:40
西少的平均生源质量能否达到华五？
我觉着平均质量超过华五的平均水平 但是上下限差距过大 这也是少年班培养模式造就的
交大钱班的平均质量其实就能达到华五平均水平了 不过我指的是没改之前的钱班（17年之前） 不分专业 一届几十一百人那种 水木 发表于 2023-7-12 17:17
往年最佳论文好像每年就一篇吧，国内机构几十年累计应该没有超过5篇的。 ...
今年组委会自己表示要五谷丰登，并且明年还要继续扩大 Athens 发表于 2023-7-12 17:38
我觉着平均质量超过华五的平均水平 但是上下限差距过大 这也是少年班培养模式造就的
交大钱班的平均质量 ...
不光是培养问题，从初中选拔确实会出现这种问题，而且真正特别厉害会放弃少年班去冲清北了 这不科学诶 发表于 2023-7-12 17:56
今年组委会自己表示要五谷丰登，并且明年还要继续扩大
一个是热门，再者搞得人多了，投稿的也大幅增加了， 水木 发表于 2023-7-12 11:18
一作是交大少年班22届的学生，三作是交大少年班大三在读的。
今年刚博一？这么牛 卧室大落 发表于 2023-7-12 23:18
今年刚博一？这么牛
非常牛，顶会已经发了几十篇了，而且拿到了OpenAI，Google，Microsoft的Funding
页:
[1]