【导语】著名计算机科学家、AI“教父”约书亚·本吉奥于6月3日宣布成立非营利组织LawZero，致力于开发“诚信”人工智能系统。该组织旨在通过打造AI防护机制，防范具有欺骗性的AI智能(néng)体(tǐ)。本(běn)吉(jí)奥(ào)将(jiāng)携(xié)3000万(wàn)美(měi)元(yuán)启(qǐ)动(dòng)资(zī)金(jīn)和(hé)十(shí)几(jǐ)名研(yán)究(jiū)人(rén)员(yuán)，开(kāi)发(fā)名为(wèi)“科(kē)学(xué)家(jiā)AI”的系统，以预防AI表现出欺骗或自我保护行为。此举旨在构建诚实、不具欺骗性的人工智能，为AI安全发展保驾护航。
6月3日，著名计算机科学家、AI“教父”约书亚·本吉奥（Yoshua Bengio）宣布发起非营利组织LawZero，致力于开发“诚信”人工智能系统。该组织计划打造一套AI防护机制，防范试图欺骗人类的AI智能体。
本吉奥将担任LawZero组织的主席。他以约3000万美元启动资金和十几名研究人员为基础，正在开发名为“科学家AI”（Scientist AI）的系统。该系统将作为安全防护机制，防止AI智能体表现出欺骗或自我保护的行为，比如试图避免被关闭。“至关重要的是，作为护栏的AI至少要与它试图监管和控制的AI智能体一样智能。”
约书亚·本吉奥
不会给出确定答案，而是提供答案正确性的概率
AI智能体可在无需人类干预的情况下执行任务。本吉奥将当前的AI智能体称为试图模仿人类并取悦用户的“演员”，而“科学家AI”系统更像是一位能够理解和预测不良行为的“心理学家”，既可以加速科学发现，又可以防范AI智能体的风险。
“我们希望构建诚实且不具有欺骗性的人工智能。”本吉奥说，“理论上可以设想没有自我、没有目标、纯粹作为知识载体的机器，就像一个知道很多东西的科学家。”
但和当前生成式AI工具不同的是，“科学家AI”系统不会给出确定性的答案，而是提供答案正确性的概率。“它有一种谦逊感，知道自己不确定答案是否正确。”
该系统与AI智能体协同部署时，将通过评估自主系统行为造成伤害的概率(lǜ)，标(biāo)记(jì)潜(qián)在(zài)有(yǒu)害(hài)行(xíng)为(wèi)。如(rú)果(guǒ)概(gài)率(lǜ)超(chāo)过(guò)一(yī)定(dìng)阈(yù)值(zhí)，那(nà)么(me)智(zhì)能(néng)体(tǐ)提(tí)出(chū)的(de)行(xíng)动(dòng)将(jiāng)被(bèi)阻(zǔ)止(zhǐ)。
本(běn)吉(jí)奥(ào)说(shuō)，LawZero的(de)第(dì)一(yī)步(bù)是(shì)证(zhèng)明(míng)概(gài)念(niàn)背(bèi)后(hòu)的(de)方(fāng)法(fǎ)论(lùn)是(shì)有(yǒu)效(xiào)的(de)，并说服企业或政府支持更强大版本的开发。开源人工智能模型将成为训练LawZero系统的起点。“关键是要证明这种方法论有效，从而说服捐赠者、政府或AI实验室投入资源，以与当前前沿AI同等的规模进行训练。至关重要的是，作为护栏的AI至少要与它试图监管和控制的AI智能体一样智能。”
LawZero最初的支持者包括人工智能安全机构生命未来研究所（Future of Life Institute）、Skype创始工程师雅恩·塔林（Jaan Tallinn）以及谷歌前首席执行官埃里克·施密特（Eric Schmidt）创立的研究机构施密特科学（Schmidt Sciences）。
AI学会欺骗误导、试图逃避关闭、隐藏真实能力
本吉奥是蒙特利尔大学教授，也是人工智能安全领域的领军人物。
他曾与杰弗里·辛顿（Geoffrey Hinton）、Meta首席AI科学家杨立昆（Yann LeCun）共同获得2018年图灵奖，还主持了《国际人工智能安全报告》。该报告警告称，如果自主智能体能够在没有人类监督的情况下完成更长的任务序列，它们可能会造成严重破坏。
本吉奥认为，人类不需要智能体系统来获得人工智能的回报，这样的系统有可能脱离人类的控制，带来不可逆转(zhuǎn)的(de)后(hòu)果(guǒ)。“如(rú)果(guǒ)我(wǒ)们(men)研(yán)发(fā)出(chū)一(yī)种(zhǒng)能(néng)够(gòu)治(zhì)愈(yù)癌(ái)症(zhèng)的(de)AI，但(dàn)也(yě)有(yǒu)可(kě)能(néng)这(zhè)种(zhǒng)AI的(de)另(lìng)一(yī)种(zhǒng)版(bǎn)本(běn)变(biàn)得(de)失(shī)控(kòng)，制(zhì)造(zào)出(chū)一(yī)波(bō)又(yòu)一(yī)波(bō)的(de)生(shēng)物(wù)武(wǔ)器(qì)，导(dǎo)致(zhì)数(shù)十(shí)亿(yì)人(rén)死(sǐ)亡(wáng)，那(nà)么(me)我(wǒ)认(rèn)为(wèi)这(zhè)是(shì)不(bù)值(zhí)得(de)的(de)。”
2023年(nián)，本(běn)吉(jí)奥(ào)与(yǔ)OpenAI首(shǒu)席(xí)执(zhí)行(xíng)官(guān)山(shān)姆(mǔ)·奥(ào)特(tè)曼(màn)（Sam Altman）等(děng)人(rén)签(qiān)署(shǔ)了(le)一(yī)份(fèn)声(shēng)明(míng)，宣(xuān)称(chēng)“减(jiǎn)轻(qīng)AI带(dài)来(lái)的(de)灭(miè)绝(jué)风(fēng)险(xiǎn)应(yīng)该(gāi)与(yǔ)流(liú)行(xíng)病(bìng)、核(hé)战(zhàn)争(zhēng)等(děng)其(qí)他(tā)风(fēng)险(xiǎn)一(yī)样(yàng)，成(chéng)为(wèi)全球(qiú)优(yōu)先(xiān)事(shì)项(xiàng)”。
过(guò)去(qù)几(jǐ)个(gè)月(yuè)，人(rén)类(lèi)目(mù)睹(dǔ)了(le)人(rén)工(gōng)智(zhì)能系统学会误导、欺骗和试图逃避被关闭，甚至诉诸勒索。这些行为几乎都出自精心设计、近乎诱导AI行为不端的实验，例如要求其不惜一切代价实现目标。
但现实中这样的行为也已出现。最近，人工智能企业Anthropic承认其最新系统可能试图勒索要关闭它的工程师。本吉奥对此感到担忧。他还提到，研究表明，人工智能模型能够隐藏它们的真实能力和目标。这些例子表明，由于人工智能的推理能力越来越强，世界正走向“越来越危险的境地”。
本吉奥说，试图利用已知会催生欺骗倾向的技术构建人类水平的AI智能体，就像一辆汽车在狭窄的山路上疾驰，两侧是陡峭悬崖，前方被浓雾遮蔽，“我们需要为汽车装上前灯，并在路上安装一些护栏。”