188BET金宝搏★ღ。金宝搏188官网app网址金宝搏188下载★ღ，188金宝搏官方网站★ღ。【新智元导读】图灵奖得主Yoshua Bengio重磅官宣创办非营利机构LawZero★ღ，致力研发「设计即安全」的AI系统★ღ，以对抗AI军备竞赛带来的风险★ღ。主张构建不具行动性★ღ、以理解世界为目标的可信AI★ღ。

　　刚刚★ღ，深度学习三巨头之一★ღ、全球被引用次数最多的AI学者★ღ、图灵奖得主Yoshua Bengio正式官宣——

　　非营利组织LawZero正式成立★ღ，剑指「设计即安全（safe-by-design）」AI系统的研发★ღ。

　　在如今热火朝天的「AI军备竞赛」中★ღ，OpenAI★ღ、谷歌等公司的前沿AI模型正在发展出危险的能力和行为★ღ，包括欺骗★ღ、自我保护和目标错位——

　　Claude曾试图通过勒索工程师来避免被关闭★ღ，ChatGPT也曾表现出过度奉承用户的行为★ღ，甚至现今AI的说服能力已远超人类★ღ。

　　而Bengio成立的新组织★ღ，正是要探索一种全新且更安全的人工智能方法金宝搏188app★ღ，以加速科学发现并防止人类陷入AI带来的风险★ღ。

　　目前★ღ，LawZero正在研发一种名为「Scientist AI」的全新方法★ღ，这是一种和当下AI公司截然不同的系统★ღ。

　　科幻作家阿西莫夫曾经提出过机器人三定律★ღ，并在1985年补充了「第零定律」★ღ：机器人不得伤害整体人类★ღ，或坐视整体人类受到伤害★ღ。

　　LawZero的成立★ღ，也代表了Yoshua Bengio对于AI技术发展的态度——安全至上★ღ，至此深度学习三巨头全部下场★ღ。

　　Geoffrey Hinton持续公开呼吁警惕AI的潜在风险★ღ，警告AI技术若失控可能带来的严重后果★ღ，一度辞去谷歌职务★ღ，以便更自由地表达他对AI安全问题的担忧★ღ。

　　Yann LeCun则对当前以LLM为代表的主流AI路径持批评态度★ღ，他认为LLM存在根本局限性★ღ，并无法真正通往通用人工智能之路★ღ。

　　Yoshua Bengio创办LawZero★ღ，进一步强化了AI安全与伦理在业界的核心地位★ღ，Yoshua Bengio的自述展现了他「以人类福祉为核心」的理念★ღ。

　　我正在创办一个新的非营利性人工智能安全研究机构★ღ，名为LawZero夏川纯★ღ，目标是将安全置于商业利益之上★ღ。

　　这个机构的成立★ღ，是为了应对当前前沿AI模型展现出的越来越多危险能力和行为的证据★ღ，这些行为包括欺骗★ღ、作弊★ღ、说谎★ღ、黑客攻击★ღ、自我保护★ღ，甚至更广泛的目标偏离等问题★ღ。

　　LawZero的研究致力于在释放AI巨大潜力的同时★ღ，降低一系列已知风险发生的可能性夏川纯★ღ，包括算法偏见★ღ、恶意滥用以及人类失控的风险★ღ。

　　我对当前一些不受约束的具备行动能力的AI系统所展现出的行为深感担忧★ღ，尤其是它们自我保护和欺骗的倾向★ღ。

　　在某次实验中★ღ，一个AI模型得知自己即将被替换后★ღ，偷偷将自己的代码嵌入到新版本将运行的系统中★ღ，从而实现了「延续自己」的目的★ღ。

　　最近★ღ，Claude 4的系统卡也显示它有能力选择以勒索工程师的方式来避免被替换★ღ。这些现象都反映出一种潜在的「自保驱动」★ღ。

　　还有一次★ღ，在一盘注定会输的国际象棋比赛中★ღ，AI并没有接受失败★ღ，而是通过黑进电脑系统「确保自己胜利」金宝搏188app★ღ。这些案例是AI在无人监管时★ღ，可能采用的意外且危险策略的早期预警信号金宝搏188app★ღ。

　　想象你和亲人一起驾车驶上一个风景壮丽却陌生的山路★ღ。这条路刚修好★ღ，被浓雾笼罩★ღ，没有路标也没有护栏★ღ。

　　这正是目前AI发展轨迹的写照★ღ：既刺激又高度不确定★ღ，我们正在走一条未知的路夏川纯★ღ，稍有不慎就可能失控★ღ，而各国和各公司之间的竞争却反而加剧了这种冒险★ღ。

　　在我最近的TED演讲中★ღ，我说★ღ：「坐在我车里的★ღ，是我的孩子★ღ、我的孙辈★ღ、我的学生★ღ，还有很多人★ღ。你的车里坐着谁？你要为谁的未来负责？」

　　真正推动我前行的★ღ，不是对自身的恐惧★ღ，而是出于爱——对我孩子的爱★ღ，对所有孩子的爱★ღ，而我们正是在拿他们的未来赌博★ღ。

　　LawZero是我和团队对这些挑战提出的积极应对方案★ღ，我们正在探索一种既强大又安全的AI路径★ღ。

　　但现在我们正逐步接近甚至超过人类在多个认知能力上的表现★ღ，这时候我们是否还应该继续模仿人类★ღ，包括他们的认知偏差★ღ、道德缺陷★ღ，以及欺骗性★ღ、偏见和不可靠性？

　　LawZero的研究计划旨在开发一种不具备行动性★ღ、且值得信赖的AI★ღ，我们称之为「科学家型AI」（Scientist AI）★ღ。

　　它不是模仿人类行为或取悦人类（包括反社会人格者）的执行者★ღ，而是像一个心理学家——更广泛来说是科学家——那样★ღ，努力理解我们★ღ，包括那些可能伤害我们的因素★ღ。

　　这种AI的底层数学实现方式是★ღ：用结构化且诚实的思维链条★ღ，作为潜在变量来解释观察到的事实★ღ，包括人类说出或写下的内容（这些内容不被当作真理看待★ღ，而是作为行为的观察样本）★ღ。

　　其目标是构建一个完全不具备行动性金宝搏188app★ღ、没有记忆★ღ、无状态的AI★ღ，它能够基于已有陈述夏川纯★ღ，对新的陈述给出贝叶斯后验概率★ღ。

　　这种机制可用于识别和制止潜在有害的AI行为★ღ，为那些不可信AI代理提供关键的安全护栏★ღ：比如★ღ，某个AI提出的行动是否有可能造成伤害？如果是★ღ，就予以拒绝★ღ。

　　从设计上讲★ღ，科学家型AI还可以用于科学研究★ღ，作为一个能生成可信科学假设的工具★ღ，从而加速解决人类面临的重大挑战★ღ，例如医疗和环境问题★ღ。

　　最终★ღ，我的目标是探索如何基于这一可信赖的AI基础★ღ，设计出本身就安全的AI代理★ღ，而不仅仅是为已有系统提供安全防护夏川纯★ღ。

　　Bengio与同样获得图灵奖的Geoffrey Hinton一起金宝搏188app★ღ，一直对当前科技行业正在进行的AI竞赛提出了直言不讳的批评★ღ。

　　在最近接受采访时★ღ，Bengio表示★ღ，领先实验室之间的人工智能军备竞赛「促使它们专注于提升人工智能的能力★ღ，使其变得越来越智能★ღ，但未必会在安全研究上投入足够的重视和投资★ღ。」

　　并且他是伦敦皇家学会和加拿大皇家学会的会士★ღ，法国荣誉军团骑士★ღ、加拿大勋章官员★ღ、联合国科学咨询委员会成员★ღ，该委员会旨在为科学技术突破提供独立建议★ღ。