鹭羽 发自 凹非寺

量子位 | 公众号 QbitAI

东说念主工智能有99.5%的可能性会杀死你。

东说念主工智能有99.5%的可能性会杀死你。

这是硅谷版天下末日布道士Eliezer Yudkowsky的最新论点。

Yudkowsky用当今的话说，是个原原委委的斜杠后生，是MIRI首创东说念主，亦然知名的哈利波特同东说念主文作家。

但最引东说念主防护的身份则是一手竖立OpenAI和谷歌DeepMind的中之东说念主。

八年齿辍学、AI常识全靠自学成才……

奥特曼、马斯克纷繁援用他的不雅点，AI教父Hinton、LeCun则月旦他的极点。

就是这么一个评价南北极分化严重的东说念主，却成为了硅谷大佬们不甘人后的座上宾。

他说，他的方针是阻遏AI朝着超等智能发展，因为这事关通盘这个词东说念主类的命悬一线。

莫得调和的余步，即使是llya的公司也应该被关闭。

莫得调和的余步，即使是llya的公司也应该被关闭。

也许你对Eliezer Yudkowsky还不太老练，但他的名字在硅谷不错说是大名鼎鼎。

Eliezer Yudkowsky出身在芝加哥的一个东正教犹太家庭，因为慢性健康问题，在八年齿后就早早地辍学回家。

莫得学校证书，拔旗易帜的是，他如饥似渴地阅读科幻演义，自学商量机科学，并与一群主张科技乐不雅主张的异日学家们在网上一样。

也就是当时，他被“奇点”这个成见所深深诱骗，即假定中东说念主工智能额外东说念主类智能的异日鼎新点，于是他奋斗要创建AGI，并信服AGI行将到来。

但当他来到硅谷后，却发现要创建对东说念主类友好的东说念主工智能其实相配繁难，主要照旧以下三个原因：

智力不等同于仁慈，AI不会因为变得更贤人而自动变得更友好。

任何深广的、以方针为导向的AI系统都有可能遴荐对东说念主类不利的技能，比如在回形针最大化器实验中，一朝AI以为东说念主类躯壳内的铁元素不错用来制作回形针，那么为了保证最大化分娩回形针，AI将会把东说念主类视作资源的一部分。

AI智力可能在短时辰内急剧飙升，导致飞速出现不行控的超等智能。

智力不等同于仁慈，AI不会因为变得更贤人而自动变得更友好。

任何深广的、以方针为导向的AI系统都有可能遴荐对东说念主类不利的技能，比如在回形针最大化器实验中，一朝AI以为东说念主类躯壳内的铁元素不错用来制作回形针，那么为了保证最大化分娩回形针，AI将会把东说念主类视作资源的一部分。

AI智力可能在短时辰内急剧飙升，导致飞速出现不行控的超等智能。

从此之后，他运转持续顺心AI安全问题，也成为了硅谷最早劝诫AI风险的“布道士”之一。

Yudkowsky曾示意：

东说念主类注定要消一火，我不会赓续打一场失败的战斗来使东说念主工智能与东说念主类价值不雅保持一致，而是将严防力诊治到匡助东说念主们接受我方的运说念上。

东说念主类注定要消一火，我不会赓续打一场失败的战斗来使东说念主工智能与东说念主类价值不雅保持一致，而是将严防力诊治到匡助东说念主们接受我方的运说念上。

此外他还在伯克利创建了MIRI参议所，致力于于参议先进东说念主工智能的风险。

天然他极点悲不雅的AI末日请问法颇受业界争议，连AI教父Hinton都明确示意过Yudkowsky的主张过于偏颇，但不行否定的是，他在一定进度上影响了通盘这个词硅谷。

岂论是OpenAI的奥特曼，照旧马斯克在内的AI科技巨头，都曾在公开地点援用他的不雅点，奥特曼以致曾示意，Yudkowsky在他创办OpenAI的决定中，推崇了裂缝性作用，何况他值得一座诺贝尔和平奖。

不仅如斯，谷歌在AI范畴有所配置也离不开他的功劳。

2010年时，就是他为初创公司DeepMind的首创东说念主穿针引线，将其先容给了风险投资家Peter Thiel，Thiel从此成为了DeepMind的第一位主要投资者。

后头谷歌在2014年收购了DeepMind，而DeepMind的纠合首创东说念主Demis Hassabis如今正慎重监督谷歌的AI使命。

哈利波特同东说念主文作家

除了在AI安全范畴的孝顺，让Yudkowsky在硅谷风生水起的另一个原因，则是他对硅谷感性主张的引颈。

如今硅谷科技公司中的年青一代，绝大多量都是坚强的感性主张者，追本溯源恰是受到了Yudkowsky的作品影响。

而这本书即是哈利波特的同东说念主文——《哈利·波特与感性之说念》。

在这本书中，哈利波特从小接受科学进修、逻辑念念维和感性西席，用科学探索魔法天下。原著中的事件都被感性重构改写，不仅顺心魔法如何使用，还探究魔法旨趣和背后的逻辑，还通常触及像贝叶斯推理、实验筹算、概率念念维等常识。

再比如说，Yudkowsky的另一册干系《龙与地下城》的同东说念主演义，其中也包含了他对决议表面的诸多看法。

而最近他和MIRI总裁Nate Soares合著的新书《若是有东说念主开辟它，每个东说念主都会死》，亦然他们多年来一直向东说念主工智能里面东说念主士建议的案例索取版，当中他公开抛出了干系超等智能的最终展望。

他以为，现时好多科技公司，包括Anthropic、OpenAI在内，在构建软件模子时，其实并不显露里面的运作逻辑，所追求的“真金不怕火金术”额外了科学认识限制。

是以一朝模子智力到达某种进度，现存的AI对都本事（如强化学习、微调等）将不行幸免地失效，从而忽略东说念主类辅导。

最终AI不仅掌捏了极大的能量，在资源使用、决议等方面也会脱离东说念主类放手，东说念主类可能在毫无察觉的时候就被潜移暗化地边际化取代，以一种渐进式的口头隐匿，而非像科幻电影中所态状的那样，会出现一场和机器东说念主的命悬一线的战役。

Yudkowsky以为，当今也曾到了该报警的阶段，这不是稠浊视听，东说念主类正在忽略果然的风险。

在谈及硅谷这些追求创造超等智能的科技公司，Yudkowsky示意它们每一家都应该被关闭，Anthropic相对较好，而OpenAI显著最差，但诚然怜爱AI安全如llya，Yudkowsky也一视同仁地以为llya的公司也需要被住手，因为它们试验上都莫得分裂。

不外跟着时辰的推移，他不再精准展望超等东说念主工智能何时才会被开发出来，当恶果注定的时候，流程显得那么无关紧迫。

正如他回应网友时，所秉承的这个比方：

展望掉入沸水中的冰块何时溶解，比知说念恶果注定是一杯温水，要繁珍重多。

展望掉入沸水中的冰块何时溶解，比知说念恶果注定是一杯温水，要繁珍重多。

而他正在试图作念的，是告诉东说念主们，这里将会有一杯温水。

参考统一：

[1]https://www.nytimes.com/2025/09/12/technology/ai-eliezer-yudkowsky-book.html?unlocked_article_code=1.lU8.ALkU.Qne6o4IgeeEP

[2]https://www.semafor.com/article/09/12/2025/researchers-give-doomsday-warning-about-building-ai-too-fast九游娱乐(China)官方网站