ACL 2023最佳论文出炉！CMU西交大等摘桂冠

水木 · 发表于 2023-7-12 09:24:31

From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models

作者：Shangbin Feng, Chan Young Park, Yuhan Liu and Yulia Tsvetkov

机构：华盛顿大学、卡内基梅隆大学、西安交通大学

论文地址：https://arxiv.org/pdf/2305.08283.pdf

语言模型在不同的数据源上进行预训练，包括新闻、论坛、书籍和在线百科全书等等。

这些数据中有很大一部分包含了一些观点和看法，这些观点和看法一方面颂扬民主和思想的多样性，另一方面又带有固有的社会偏见。

在这篇论文中，研究人员开发了新的方法：

（1）沿着社会和经济轴测量在此类语料库上训练的LM中的政治偏见；

（2）测量在有政治偏见的LM之上训练的下游NLP模型的公平性。研究人员专注于仇恨言论和错误信息检测，旨在通过经验量化预训练数据中的政治（社会、经济）偏见对高风险社会导向任务公平性的影响。

研究结果表明，预训练的LM确实具有政治倾向，这种倾向强化了预训练语料中存在的两极分化，将社会偏见传播到仇恨言论预测和错误信息检测中。

最后研究人员讨论了他们的发现对NLP研究的影响，并提出了减轻不公平的未来方向。

nideduoqing · 发表于 2023-7-12 09:29:08

总共有三篇被评为最佳论文，虽然只是三作，也是三篇最佳论文里唯一露脸的中国机构了。

academic818 · 发表于 2023-7-12 09:32:50

祝贺西交！

水木 · 发表于 2023-7-12 09:32:53

nideduoqing 发表于 2023-7-12 09:29
总共有三篇被评为最佳论文，虽然只是三作，也是三篇最佳论文里唯一露脸的中国机构了。 ...

Shangbin Feng 目前在华盛顿大学读博，本科毕业于西安交通大学，

水木 · 发表于 2023-7-12 09:36:31

印象中，历年国内机构累计荣获ACL最佳论文的应该是个位数

zttkuny · 发表于 2023-7-12 09:44:41

水木发表于 2023-7-12 09:32
Shangbin Feng 目前在华盛顿大学读博，本科毕业于西安交通大学，

计算机18级的

nideduoqing · 发表于 2023-7-12 09:47:24

水木发表于 2023-7-12 09:32
Shangbin Feng 目前在华盛顿大学读博，本科毕业于西安交通大学，

毕业了如果回国进入学术界可以尝试引进一下

academic818 · 发表于 2023-7-12 10:02:23

水木发表于 2023-7-12 09:36
印象中，历年国内机构累计荣获ACL最佳论文的应该是个位数

这种顶会最佳论文很难的，不可能两位数，有个两三次就不错了

水木 · 发表于 2023-7-12 11:03:16

academic818 发表于 2023-7-12 10:02
这种顶会最佳论文很难的，不可能两位数，有个两三次就不错了

国内在计算机，人工智能领域的基础理论，核心算法上，和老美的差距还是很大啊。

水木 · 发表于 2023-7-12 11:18:56

一作是交大少年班22届的学生，三作是交大少年班大三在读的。

天乙贵人 · 发表于 2023-7-12 11:38:55

西少的，那很正常嘛

nideduoqing · 发表于 2023-7-12 11:40:24

西少的平均生源质量能否达到华五？

己不欲，勿施人 · 发表于 2023-7-12 11:55:55

最佳论文和杰出论文有啥区别呀，我看复旦有篇杰出论文

ls01 · 发表于 2023-7-12 11:57:46

nideduoqing 发表于 2023-7-12 11:40
西少的平均生源质量能否达到华五？

少年班方差很大，两极分化，好的有清北水平，差的可能还不如211

这不科学诶 · 发表于 2023-7-12 12:03:36

己不欲，勿施人发表于 2023-7-12 11:55
最佳论文和杰出论文有啥区别呀，我看复旦有篇杰出论文

今年广义上的Best Paper有三类，3篇最佳论文，39篇杰出论文
另外还有各个子方向的领域主席奖，每个方向一篇，一共12篇
今年颁奖的数量比往年多不少，复旦、清华、南理工、中科大等学校都有获奖

asdfghjkl啊啊 · 发表于 2023-7-12 13:32:32

ls01 发表于 2023-7-12 11:57
少年班方差很大，两极分化，好的有清北水平，差的可能还不如211

养蛊式培养

shtjww · 发表于 2023-7-12 13:45:42

水木发表于 2023-7-12 11:03
国内在计算机，人工智能领域的基础理论，核心算法上，和老美的差距还是很大啊。 ...

确实，说到底都是用的老美从全世界聚集的人才发明的transformer网络基础上

Athens · 发表于 2023-7-12 15:17:30

ls01 发表于 2023-7-12 11:57
少年班方差很大，两极分化，好的有清北水平，差的可能还不如211

讲道理我觉着你说的还是保守了认识的少年班的太多了我的评价是“强的有那种放清北里面也是绝顶天才的菜的有放在西安理工都本科毕业不了的”

水木 · 发表于 2023-7-12 17:16:18

nideduoqing 发表于 2023-7-12 11:40
西少的平均生源质量能否达到华五？

不好比较，毕竟从初三选拔的，没有高三，高中只有两年预科吧，我认识的清北，人大的朋友里面有在初中考交大少年班落榜的，或者放弃的，高中阶段也是在国内几个著名高中委托培养的。

水木 · 发表于 2023-7-12 17:17:27

这不科学诶发表于 2023-7-12 12:03
今年广义上的Best Paper有三类，3篇最佳论文，39篇杰出论文
另外还有各个子方向的领域主席奖，每个方向一 ...

往年最佳论文好像每年就一篇吧，国内机构几十年累计应该没有超过5篇的。

Athens · 发表于 2023-7-12 17:38:32

nideduoqing 发表于 2023-7-12 11:40
西少的平均生源质量能否达到华五？

我觉着平均质量超过华五的平均水平但是上下限差距过大这也是少年班培养模式造就的
交大钱班的平均质量其实就能达到华五平均水平了不过我指的是没改之前的钱班（17年之前）不分专业一届几十一百人那种

这不科学诶 · 发表于 2023-7-12 17:56:13

水木发表于 2023-7-12 17:17
往年最佳论文好像每年就一篇吧，国内机构几十年累计应该没有超过5篇的。 ...

今年组委会自己表示要五谷丰登，并且明年还要继续扩大

ls01 · 发表于 2023-7-12 18:15:52

Athens 发表于 2023-7-12 17:38
我觉着平均质量超过华五的平均水平但是上下限差距过大这也是少年班培养模式造就的
交大钱班的平均质量 ...

不光是培养问题，从初中选拔确实会出现这种问题，而且真正特别厉害会放弃少年班去冲清北了

水木 · 发表于 2023-7-12 18:30:05

这不科学诶发表于 2023-7-12 17:56
今年组委会自己表示要五谷丰登，并且明年还要继续扩大

一个是热门，再者搞得人多了，投稿的也大幅增加了，

卧室大落 · 发表于 2023-7-12 23:18:06

水木发表于 2023-7-12 11:18
一作是交大少年班22届的学生，三作是交大少年班大三在读的。

今年刚博一？这么牛

tomhe · 发表于 2024-8-10 08:23:54

卧室大落发表于 2023-7-12 23:18
今年刚博一？这么牛

非常牛，顶会已经发了几十篇了，而且拿到了OpenAI，Google，Microsoft的Funding

		自动登录	找回密码
密码			立即注册