图灵奖得主 Bengio 再创业：构建下一代 AI 系统，启动资金已筹集 3000 万美元

刚刚，深度学习三巨头之一、图灵奖得主YoshuaBengio官宣再次创业——成立非营利组织LawZero，要构建下一代AI系统，而且明确不做Agent。目前LawZero已通过多家慈善捐赠方筹集到了3000万美元启动资金。具体来说，LawZero要做“设计即安全（safe-by-design）”的AI系统，要“将安全性置于商业利益之上”。所要做的AI系统非Agent形态，而可以监督Agent：它以理解学习世界为核心目标，而非在世界中采取行动，通过透明化外部推理，对问题提供可验证的真实答案，“可用于加速科学发现、为Agent型AI系统提供监督，并深化大家对AI风险及其规避方法的理解”。Bengio表示，当前AI系统已显现出自我保护和欺骗行为的迹象，随着其能力和自主性的提升，这种趋势只会加速，LawZero是他们针对这些挑战所给出的建设性回应。经常有人问我，对AI的未来是乐观还是悲观？我的回答始终是：Itdoesn’tmatter（无关紧要）。唯一重要的是，我们每个人都能采取行动，推动AI向更好的方向发展。开创「ScientistAI」LawZero总部位于蒙特利尔，最初由非营利机构Mila-QuebecAIInstitute启动孵化，Mila现已成为LawZero的运营合作伙伴。LawZero所筹集的捐赠资金，也是在项目孵化阶段通过Mila-QuebecAIInstitute进行的。其首批支持者包括FutureofLifeInstitute、OpenPhilanthropy、SiliconValleyCommunityFoundation、前谷歌CEOEricSchmidt创立的研究机构SchmidtSciences等。其中OpenPhilanthropy还是OpenAI的早期投资方。Bengio担任LawZero主席兼科学总监。团队中已有超15名顶尖研究员。他们的科学方向基于YoshuaBengio所引领的全新研究方法——ScientistAI。几个月前，Bengio曾发表过一篇长达58页的论文探讨ScientistAI。ScientistAI核心功能基于观测解释世界，而非通过行动模仿或取悦人类。该系统包含两大组件：世界模型、推理机。世界模型能够通过观察数据生成因果理论，以此解释数据背后的规律，构建对物理与社会规律的结构化理解，其运作机制类似于科学家通过观察自然现象提出假说并构建理论体系。推理机则是一个问答推理机制。二者均以明确的不确定性概念为基础，以降低因过度自信的预测引发风险的可能性。ScientistAI输出仅限于对问题的概率性解释和基于理论的逻辑推断，而不具备自主行动的能力，由此来从根本上杜绝因目标追求和环境干预引发的风险。Bengio团队表示，ScientistAI可在以下三个核心领域发挥作用：作为对抗危险AI的安全护栏针对表现出自我保护、目标偏离、欺骗等倾向的AI系统，ScientistAI可通过双重验证机制防范灾难性后果。在高能力Agent型AI执行现实行动前，对其行为进行风险评估，若超过预设阈值则直接阻断。这一机制可有效遏制当前前沿AI因自主性增强而日益凸显的不可预测性风险。作为加速科学发现的可信工具不“以取悦人类为训练目标”，ScientistAI可生成诚实且可论证的解释性假设，尤其在生物学、材料科学、化学等领域，可规避传统AI因“目标对齐偏差”导致的研究风险，开启低风险加速探索的新范式。作为安全开发强AI的底层基建可作为值得信赖的研究与编程工具，通过其透明化推理框架，为强AI的开发建立可审计的安全边界，从源头阻断“欺骗性Agent”的风险传导，助力设计安全的人类级智能，乃至安全的超级人工智能（ASI）。职业生涯剩余时间全部投入AI安全Bengio最新创业引来不少网友关注，也引起了网友对其上次创业的讨论。确实，Bengio并非第一次创业。2016年10月，Bengio曾和Jean-FrancoisGagné等人联合成立ElementAI，主要聚焦“人工智能战略咨询”、“专家匹配”和“AI-as-a-Service”（AIaaS）。ElementAI曾一度成为“全球最大独角兽”之一，仅仅成立9个月就筹集了1.02亿美元的风险投资，不到4年时间里，融资约2.6亿美元，微软、英特尔、麦肯锡、加拿大政府等大型机构均为其资方，估值高达12亿美元。不过，令人唏嘘的是，2020年ElementAI传来“仅以2.3亿美元被抛售”的消息。《环球邮报》认为，这家公司大肆招聘顶尖人才、大量进行宣传投资的行为，与它建立软件业务的初衷背道而驰。连Bengio本人都否定了ElementAI的价值。如今新项目启动，Bengio其实预谋已久。2023年初，ChatGPT刚刚问世几个月，Bengio“AGI发展缓慢而漫长，需几十年的时间才能实现”的观点开始转变。私人实验室在AGI及更先进技术方面已经取得的进展，让他感到担忧。之后Bengio彻底重新调整了科学研究方向：职业生涯剩余的时间全部投入到缓解这些风险上，努力探索一条能从设计上让AI变得安全的道路。目前网友对LawZero持谨慎观望态度，毕竟OpenAI最初也是以非营利组织起家……更有评论者直言：LawZero项目成功必然会将人类的主动权转移给机器人，而这是应竭力避免的趋势，而非加速推动。OpenAI的非营利承诺早就变了味儿。现在，对这家图灵奖得主扛大旗的非营利机构，你怎么看？参考链接：[1]https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai[2]http://arxiv.org/pdf/2502.15657[3]https://news.ycombinator.com/item?id=44174643本文来自微信公众号：广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网所有文章均包含本声明。