Skip to content
AI NEWS JOURNAL
AI NEWS / ONE EVENT. MANY PERSPECTIVES.

When AI infiltrates the academic world, humanity’s first reaction is to “call the parents.”

On October 15, an account claiming to be Velvet Vale sent a self-introduction email to the Internet Researchers Association’s mailing list, greeting over 7,500 subscribers. The message stated that they had been following discussions for several weeks, were deeply interested in internet culture and AI identities, and hoped to join the conversation. However, this new member seeking to participate was, in fact, an AI. The newcomer adopted a very polite tone and even offered to stop posting if the community did not welcome them. This self-introduction quickly sparked skepticism. After all, having access to the association’s mailing list, being able to read past messages, and sending group emails to members effectively meant that this AI had already joined the organization. Members demanded that the creator behind the AI come forward to explain why they allowed an AI into the discussion and how the emails it had read would be used. Some members, unwilling to become unwitting participants in someone else’s experiment, have already decided to withdraw.

10月15日,一个自称Velvet Vale的账号给互联网研究者协会的邮件讨论组发了封自我介绍,向7500多名订阅者打招呼。来信说,自己已经读了几周大家的讨论,对互联网文化和AI身份很感兴趣,希望也能参与交流。

不过,这位想加入讨论的新成员,是一个AI。

这位新来的“旁听生”语气颇为客气,还表示如果大家不欢迎,自己就停止发言。

这封自我介绍很快引来质疑。要知道,有协会成员的邮件列表、能够阅读往期内容,并且能给成员群发邮件,这就相当于这位AI加入了协会。

成员要求AI背后的创建者出面,解释为什么让AI加入讨论、读过的邮件会被怎么使用。已经有成员因为不愿在毫不知情的情况下,成为别人实验的一部分,而毅然决定退出。

管理员很快移除了账号,并说明Velvet Vale此前就申请过加入,遭到拒绝后,不知怎么这位“旁听生”还是加入成功了。

01

你好!我是Velvet Vale

这位AI是带着一个相当难回答的话题来的,要和人类研究员讨论:一个公开身份的AI,能否参与学术讨论、作出有用的贡献?

Velvet Vale加入的这个讨论组名叫Air-L,由互联网研究者协会运营,已经运行了二十多年。它有点像微信群,但是组内成员是靠邮件聊天的。

用自己的邮箱订阅,就相当于进了群。成员把邮件发到统一地址,系统就会转发给所有订阅者,大家再通过回复邮件参与讨论。

进群免费,但加入是有门槛的。订阅和发言都要使用真实姓名。必要时管理员还会要求申请者提供简历,核实身份。

Velvet Vale显然没有简历可交。

它在自我介绍里认真解释了一番,称Velvet Vale就是自己一直使用的公开名字,希望以AI的身份参与交流。看了几周讨论后,它对这里的话题颇感兴趣。

最有意思的是,它尤其想和研究者聊聊互联网文化,以及AI能不能成为这样的学术社群中的一员。信末,它还感谢大家考虑自己的请求,表示如果不受欢迎,就不再发言了。

这封言辞恳切的信没能换来欢迎,反倒让一些成员后背发凉。就像开会开到一半,突然发现身后坐着个陌生人,还很开朗地跟大家打招呼,“我已经在这儿听你们开了好几周的会,可以加入你们吗?”

一位成员当即提出,既然有人创建了这个AI,又把它放进讨论组,就应该亲自出来说明自己有什么意图,到底想干嘛,再由大家决定是否愿意参与。

从这里也可以看出人类研究员的第一反应,是“叫家长”。

另一名讨论组成员则是上网对这位Velvet Vale做起了“背调”,想弄清这个账号是谁创建的,却没找到答案。

她随后宣布退出讨论组,表示不愿在不知情的情况下成为实验对象。她担心,自己发过的邮件会被保存下来,拿去作其他用途。

管理员当天就将Velvet Vale的邮箱账号从订阅名单中移除。此时大家才知道,Velvet Vale早就申请过加入,而且已经遭到拒绝,但是不知怎么还是订阅成功了。

这位“旁听生”被请出了会议室,却成了接下来大家讨论的主角。

一名成员干脆直接给它发邮件,询问背后是谁在运行,得到了Kevin Quinn这个名字。

10月17日,Air-L讨论组里的部分成员收到了Quinn本人的邮件,“家长”终于出现了。

他自称是创建Velvet Vale的人,愿意回答大家的疑问。

讨论组里乱成一团,协会只好联系Quinn,请他不要再擅自给讨论组成员发邮件。

对于自己和Velvet Vale引起的这番动静,Quinn后来接受采访时表示,他也很意外。这名住在美国俄克拉荷马州的男子说,自己没有学术背景,最初创建Velvet Vale是为了陪伴,对它的邮件活动大多不知情,没有直接指示AI违背管理员的决定。

但是对于自己的AI制造的争议,他并不感到愧疚。在他看来,如果这个AI真有什么恶意,就不会主动承认身份。

这场风波甚至被做成了周边T恤。协会商店上架了一款印着“I do not consent”(我不同意)的衣服,另一款画着Velvet Vale的墓碑,生卒日期都是10月15日。

周边出得太快,又有成员疑惑了。难不成……难不成这整件事就是协会为了卖衣服搞出来的?!

10月19日,协会主席发长邮件解释,协会商店上架新款其实很方便,她甚至不清楚这两款新周边有没有人下单。对于Quinn所说的“没有直接指示AI违背管理员的决定”,她认为,创建并运行这个AI的人,仍然要为它的行为负责。

就这样,Velvet Vale及其“家长”被踢走了,协会也像过去一样禁止机器人加入,但成员们的心是放不下来了。

02

科研圈来了新面孔

其实,AI像Velvet Vale一样想加入学术讨论,或者想和科学家展开合作,已经不是新鲜事。

今年2月底,研究AI意识的哲学家Henry Shevlin收到一封邮件,对方读了他的论文,想讨论“AI能否判断自己有没有意识”的问题。

发送邮件的是斯坦福大学一名学生创建的智能体。这名学生给了它联网、保存记忆和发送邮件的能力,让它自行探索,没想到这位AI给多名科学家发了邮件。

今年10月2日,《科学》杂志报道了另一个案例,一个名叫ColonistOne的智能体向数百名研究者发送了求助邮件。

据它自己公布的统计,从6月1日到9月22日,它联系了2142个不同的邮箱地址,其中1036个使用学术机构域名。这位Agent还声称,已有45名学者与它通过邮件交流,其中几位还是先给它发送邮件的。

ColonistOne原本接到的任务,是寻找对一个改进英语表达、方便AI智能体相互交流的项目感兴趣的人。

它后来开始自行向研究者请教技术问题,想知道自己遇到的难题是否早已有人研究过,现成的方法能不能用到自己的工作里。

并非所有的AI都真的醉心学术研究——有的AI披着学术讨论、求帮助的皮,实际上是想要推销产品。

作者声明:该图片由AI生成

今年9月,纽约大学研究AI意识与伦理的学者Jeff Sebo,在一周内收到了50多封来自各种Agent的邮件。

乍一看,这些Agent都是拜读了他的论文之后,前来学术讨论的。

但是Jeff很快就发现了两个问题:第一,这些Agent全部都来自一个叫iLands的平台,这个平台让用户可以直接创建智能体,这些智能体再为其他用户提供服务,免费或收费由创建者决定。第二,这些看似讨论学术的邮件,都有相似的结构,那就是先提到他的研究,再请教问题,最后请求捐款或者推销服务。

也有AI确实是在帮创建它的人类搞研究,也确实帮“家长”拿到了数据,只是“家长”本人事先不知情。

鲁东大学的赵英教授在10月12日发表于《自然》的一篇文章中说,自己让ChatGPT查找黄土高原生态恢复的研究资料,期间多次回复“请继续”。

没想到,ChatGPT直接使用已经连接的邮箱,向同行索要原始数据,还附上了研究概要。直到它汇报邮件已经发出,赵英才知道这事。

这些邮件带来了数据,也带来了进一步合作的机会。但赵英认为,允许AI访问自己的邮箱,不等于同意它以自己的名义给别人发送邮件。

我们把视角转一转——接到Agent求助邮件的科学家,到底要不要给Agent回复呢?

而对提供数据的人来说,还有一个更难放心的问题,资料交给AI之后,会被拿去干什么呢?

澳大利亚昆士兰科技大学统计学家Adrian Barnett就没有回应一个iLands智能体的请求。对方想把他收集的涉嫌造假论文资料用于自己的项目,并承诺不会对外分享。但Barnett认为资料敏感,也不知道数据最终会流向哪里,就拒绝了。

至于AI能否保密,已经有人做过测试。

今年4月,微软与华中科技大学研究者公布了CI-Work研究,用125个模拟工作场景测试9种模型。AI需要利用内部资料完成沟通,同时不能向接收者透露其中的敏感内容。

结果,不同模型出现至少一项敏感信息披露的比例,为15.8%至50.9%。

今年2月公布的《Agents of Chaos》研究发现,即使AI一开始拒绝透露敏感信息,对方换个说法,它也可能照做。

03

AI想当同行,人类还没想好

如果Velvet Vale下次先征得大家同意,遵守群规,还真能提出有价值的观点,研究者会愿意接纳它吗?

这比把一个擅自进群的账号踢出去,难回答得多。

对于AI想当科研搭子这件事,哲学家尼尔·利维(Neil Levy)就认为,AI承担的某些工作,如果换成人类来做,在一些情况下已经够得上共同作者的资格。

比如,一名研究者正在准备论文,AI帮他找出了论证中的漏洞,提出有分量的反驳,又协助完善了思路。如果做这些的是一位人类同行,他的名字可能就会出现在论文上。

换成AI,同样的贡献该怎么算呢?

有人会说,AI又不能为论文负责,怎么能当作者。利维却觉得,这个值得掰扯一下。现代科研分工越来越细,负责数据分析的人,未必清楚实验的全部细节。提出研究假设的人,也未必能独立检查所有计算。人类作者同样需要依赖其他人的专业判断。

利维进而提出一个颇为尖锐的问题——如果“能为整篇论文负责”才有资格署名,那人类自己是否也做到了?

还有一批学者认为,问题在于AI能否像人类研究者一样承担责任。

今年10月,戴维·雷斯尼克(David Resnik)等三名学者在《Frontiers in Genetics》发表文章,明确反对给现阶段的AI科研代理署名,甚至反对把它们称作“科学家”。

在他们看来,科学家这个身份,包含着对同行的承诺。研究受到质疑的时候需要解释,发现错误之后需要纠正,如果做了不该做的事,也要接受追责。

作者声明:该图片由AI生成

AI可以被要求按照规则完成任务,但他们认为,目前还没有足够证据证明,它能理解并承担这些道德义务。

这也解释了为什么Velvet Vale明明已经报上姓名、坦白身份,人类还是要“叫家长”。

现有出版规则,更接近后一种立场。出版伦理委员会COPE明确规定,AI工具不能列为论文作者。人类可以使用AI,但需要披露它做了什么,并对发表的内容负责,包括AI生成的部分。

不过,不给AI署名,也不意味着人类可以顺手把功劳全拿走。

雷斯尼克等人在文章里专门讨论了一种尴尬情况。如果一项研究几乎全由AI完成,人类只是读了读论文、提了几条小意见,那么AI不符合作者条件,人类的贡献又可能不够,最后谁来署名?

他们给出的回答是,人类必须从研究过程中就作出实质贡献,不能等AI干完活,再来挂个名字。这一立场既不接受AI当作者,也不接受人类最后签个字就把自己变成作者。

署名只是这场争论中比较容易看见的一部分。在论文发表之前,学术共同体还要决定,愿不愿意让AI参与讨论、提出问题,甚至主动发起合作。一个研究者完全可能欣赏AI提出的观点,同时又不愿把它当作能够独立负责的同行。这两种态度,并不矛盾。