对话 Vitalik：AI 安全背后的哲学思想，有效利他主义如何影响硅谷？
原题E257｜对话 Vitalik：AI 安全背后的哲学思想，有效利他主义如何影响硅谷？
推荐理由Vitalik 从伦理与社会选择讨论 AI 安全，帮助理解有效利他主义的影响与争议，把技术风险判断放回不同价值观之间审视。
听前速览
科技记者 Afra 与以太坊联合创始人 Vitalik 复盘有效利他主义从量化慈善转向 AI 安全的路径，剖析其资金网络、安全审计独立性争议与加速/减速之争。
Anthropic 招股书把 AI 安全风险公开化，但创始人特殊投票权与保密接替名单引发「谁代表人类决策」的质疑。
招股书披露近 100 页风险因素，safety 出现 248 次、AI 安全出现 36 次，并直言无法保证安全措施有效。上市后七位联合创始人通过特殊股份掌握一般表决事项 50.1% 投票权，长期利益信托可选举董事会多数成员，创始人还可提前指定失能后的投票权接替者，名单保密。节目由此提出公众是否有权知道未来谁参与决策。
EA 从量化慈善转向长期主义再到 AI 安全，核心议题已整体迁移，并通过资金、fellowship 与岗位吸纳年轻研究者。
Afra 把 EA 分为蚊帐时期、2015 年前后的长远规划时期、SBF/FTX 崩塌后的声誉危机与 GPT 转折、以及 AI 安全时代。她指出 20 岁出头的研究者能在 AI alignment 与 AI 安全领域拿到大量 fellowship、grant 和不错年薪，而传统智库难招到 AI 政策分析员，议题设置权因此向 EA 网络集中。
安全审计的独立性存疑：METR 等机构的资助方与 Anthropic 早期投资人重叠，但 Afra 认为这更多是议程投射而非阴谋。
Jacob Coxon 从 Anthropic 辞职后，Kevin Bass 在 X 上梳理资金链，指出 METR 等安全机构的资助方 Coefficient Giving 创始人 Dustin Moskovitz 同时持有大量 Anthropic 股票。Afra 承认资金会影响哪些问题被视为重要，但认为 EA 的议程是防止 AI 失控，没有隐藏议程，把一切归为阴谋论并不成立。
EA 与理性主义是两套不同的东西：前者是道德主张与社交身份，后者是认知论与方法训练。
Afra 指出 EA 是一套道德主张，会带来成员身份感和社交网络；理性主义研究贝叶斯认知论、认知偏差与信念更新，社群更小更佛系。Vitalik 也补充，EA 更 conventional、机构化程度更高，理性主义社群则更偏学术与自学。两者在 AI 安全上交集，但存在「谁先发现 AI 安全」的抢功劳分歧。
Vitalik 的捐赠逻辑始于「每 2000 美元救一命」的蚊帐统计，先关注全球健康，再扩展到长寿等被忽视领域。
Vitalik 回忆 2013—2015 年接触理性主义与 EA，受蚊帐统计启发转向有效利他；2016—2017 年以太坊上涨后，把部分资产捐给非洲蚊帐组织与长寿研究。他当时对 AI 安全的理解仍非常抽象，只是承认 AI 可能决定人类未来，但研究者和资金都极少。
完整摘要
本期《硅谷 101》从 Anthropic 招股书披露 AI 安全风险与创始人特殊投票权安排切入，讨论有效利他主义（EA）如何从量化慈善走向 AI 安全中心。科技记者 Afra 梳理 EA 四个阶段：以蚊帐为代表的量化慈善、2015 年前后转向长期主义与存在风险、SBF/FTX 崩塌后的声誉危机与 GPT 带来的转折、以及当下 AI 安全时代；她区分 EA（道德主张与社群身份）与理性主义（认知论与方法训练），分析 METR 等安全审计机构与 Anthropic 投资人的资金关联争议，以及伯克利 Lighthaven、The Curve 如何成为华盛顿与硅谷的交集。以太坊联合创始人 Vitalik 回顾 2013—2017 年接触 EA 与理性主义的经历、「每 2000 美元救一命」的蚊帐统计、以及向全球健康与长寿研究的捐赠；他讲述 Yudkowsky 关于 AI 对齐、价值脆弱性和智能与善良不相关等思想如何影响自己。节目还讨论 e/acc 与 EA 的张力、RSI 自我迭代带来的不安。转录存在较多 ASR 错词与结尾截断，Vitalik 后半段观点未能完整呈现。
文字稿
说话人 1：
Hello， 大家好，欢迎回到硅谷 101，我是一文。相信大家都看到了本周 n sop c 提交的招股书。在这份文件里 n sop c 透露了将近 100 页的风险因素，除了常见的金融和市场风险之外，还包括了关于前沿 AI 所带来的灾难性，甚至威胁人类生存的风险这样的表述。And soba 说，他们自己也无法保证自己的安全措施一定有效。那我 control f 了一下，发现 safety 安全这个词一共出现了 248 次，其中 AI 安全这个词出现了 36 次。
说话人 1：
招股书还披露了上市后，七位联合创始人将通过特殊股份掌握一般表决事项 50.1%的投票权。与此同时，还有一个叫做长期利益信托的机构有权选举董事会的多数成员。这套安排的目标是让公司在追求商业利益时，也考虑人类的长远利益。但有媒体还注意到了一个细节，那就是创始人可以提前指定在自己失去履职能力后由谁接替自己的投票权。这些人选需要经过内部批准，但名单是保密的。也就是说，公众目前并不知道未来谁是有可能参与 anodic 决策的人。
说话人 1：
在消化 SOP 招股出巨大的信息量之后，我有两个初步的想法。第一就是 AI 安全对于 anthropy 这家公司的重要性很明显，再一次展现在了公众面前。但第二我担心的是，如果他们的警告成真，那作为公众我们是否应该有权知道谁能够代表人类来做决定呢？
说话人 1：
要理解 topic 对于安全的重视，以及围绕他的信任和权利争议，就要提到一个近期反复出现的概念，那就是有效利他主义 effective ultra ism 简称 EA。就在这个月，经济学人把 EA 放上封面，称他为本世纪最重要的思想。一些报道指出围绕 AI 安全政策，一 A 的支持者与我们播客里提到过的科技右翼发生了冲突，甚至特朗普政府也加入了争论。美国国防部在社交媒体上直接喊出了一句口号，美国主义而非有效利他主义。一个听起来还属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。
说话人 1：
EA 并不是一个新的概念，要理解他，我们要先认识两个人，他们的名字也会在这期节目里反复出现。所以这一期的开头和我们平时的节目比会稍微长一点。也是因为我想把这些人物和概念先给大家整理清楚，便于收听。
说话人 1：
第一位就是 win mecco，中文通常译作威廉麦卡斯基尔，他是一名哲学家，曾任牛津大学哲学副教授，也是有效利他主义运动的共同发起人之一。他提出的问题很朴素，如果我们拥有的钱和时间都有限，怎样才能帮助更多人呢？比如同样一笔钱捐给不同的慈善项目，能挽救的生命可能相差很大。那我们能不能用证据和分析找到最有效的选择？他还共同创办了一个叫做 8 万个小时的职业咨询组织。一个人的职业生涯大约有 8 万个小时，我们应该怎样使用这些时间才能给世界带来更大的改变？
说话人 1：
很多人上一次听说 EA 可能还是因为加密货币交易所 FTX 的创始人 SBF。他曾经以赚钱是为了捐钱的形象，成为这个运动最受瞩目的支持者之一。FEX 崩塌后，关于 EA 尤其是针对 mcs co 的批评也随之而来。当一个人声称自己要为全人类谋福利，是不是反而更容易为眼前的伤害找到借口？但 SBF 的倒台并没有让 EA 的故事结束。
说话人 1：
这里就要提到另一位关键人物，就是 a lizer u kosky 艾丽泽德考斯基。他是一名长期研究 AI 安全的写作者，也是互联网理性主义社群的重要奠基者。他参与创建的 less round 社区，名字直译过来就是少错一点。他在博客里反复讨论的是人为什么会犯错？我们怎样发现自己的认知偏差？当新的证据出现时又该怎样修正原来的判断。
说话人 1：
这里所说的理性主义是一套希望通过训练让人更准确的认识世界，在不确定中做出更好的决策的方法。这也能帮助我们理解它与 EA 的联系。理性主义关心怎样想的更清楚，判断的更准确。EA 则是把证据和推理用在了一个具体的道德目标上，怎样更有效地帮助别人？两个社群有很多交集，但 EA 也有自己的伦理学来源，不能简单的说它是理性主义发展出来的一个分支。
说话人 1：
后来这两条思想线索在 AI 安全上教会了有的考。司机很早就在追问，如果我们造出了比人更聪明的机器，该怎样保证它追求的目标与人类的利益一致呢？而在一部分有效利他主义者看来，如果 AI 真的可能威胁整个人类的生存，那么防止这种灾难会不会比其他事情更值得投入资源？这些讨论也进入了 AI 公司的早期思想世界，nick boston 的超级智能就是其中一本重要的书。Sam altman 曾经公开推荐过，他也写过自己对超级智能风险的担忧。Dara amo 德则很早就参与了有效慈善实践，与 EA 圈子联系密切。后来他和一批同事离开 OpenAI 创立 throp c 对 AI 安全和公司方向的分歧就是其中的重要背景。Daniel amos 的丈夫 holdin caro ski 是 EA 慈善组织 gave will 和 open philosophy 的联合创始人。在这个圈子里汇聚了很多有影响力的人物，包括以太坊的联合创始人 vi c booter's，在中国大家把它称为 vision。
说话人 1：
长期关注并且资助全球健康等议题。2021 年他向未来生命研究所捐赠了一批加密货币。据他后来的回忆，这笔捐赠最终让机构兑现了大约 5 亿美元。但在这次采访里你也会听到他对这个圈子的一些做法和 EA 的思想已经有了不同的看法。所以这一期我们请到了 vitality 本人以及他的朋友写作者和科技记者阿法。我们想和他们一起聊聊一个从怎样更有效的做好事出发的思想，如何走到了今天 AI 发展的中心。而当人们开始以全人类的未来为名，决定资金、技术和权力的方向，我们又该怎样理解他们的理想以及其中的分歧？
说话人 1：
这期播客我们分为两次录制。我和鸿钧先和我 lic afa 一起聊了 vitali c 参与这些社群和捐赠的亲身经历，以及他今天的反思。之后我们又和阿尔法单独录了一场，请他从自己的观察出发，介绍 macaco 考斯基这些关键人物，梳理 ea 与理性主义的关系，以及他们如何影响了今天的 AI 安全。
节目说明
怎样用有限的钱帮助更多人？有效利他主义（Effective Altruism，简称“EA”），就是从这个朴素的问题出发，推动人们比较不同慈善项目的效果，从捐赠蚊帐、预防疟疾，到后来投入数亿美元研究AI安全。
SBF与FTX的崩塌，曾让这场运动陷入信誉危机。最近，AI研究员辞职、安全评估机构和捐赠网络引发的争议，又让EA受到关注。当一些人把防止AI毁灭人类视为最值得投入的事业，他们的判断如何影响研究方向和资金分配？其中又有怎样的利益与权力问题？
本期节目，我们邀请以太坊联合创始人Vitalik Buterin与科技记者Afra，聊聊EA和理性主义究竟主张什么，以及这些思想如何影响了今天的AI发展。
Vitalik曾向这个圈子的机构捐赠大量资金。他在节目中回忆，一笔加密货币捐赠如何意外地变成数亿美元，以及受赠机构后来的方向，为什么让他开始重新考虑当初的选择。
节目全程以中文录制，前半段由Afra介绍背景，后半段是我们与Vitalik的对话。本期涉及英文人名和机构名较多，为方便大家理解，我们在shownotes文末整理了名词解释，也在Bilibili、YouTube、视频号等平台也上线了带字幕版本，方便大家对照收听。
【主播】
Yiwen，硅谷101主持人
泓君，硅谷101创始人，播客主理人
【嘉宾】
Vitalik Buterin，以太坊联合创始人
Afra，科技记者
【你将听到】
有效利他主义是什么，它如何走到AI安全中心？
02:25 两个关键人物：William MacAskill与Eliezer Yudkowsky
07:54 八万个小时：怎样使用一生，才能帮助更多人？
09:27 EA的四次转向：全球健康、长期主义、信任危机与AI安全
12:58 EA与理性主义的异同：怎样做好事，怎样想清楚？
15:59 AI安全如何影响前沿AI实验室的公司选择
18:02 METR与捐赠网络：安全评估如何引发了争议？
22:28 走进伯克利：Lighthaven、The Curve与硅谷思想聚会
28:09 去华尔街赚钱，再把钱捐出去：这条路出了什么问题？
35:18 EA与e/acc：关于AI加速与减速的争论
Vitalik的捐赠：一笔意外的加密货币如何变成数亿美元
39:15 如何成为一名负责任的数字游民？Vitalik最初的EA经历
44:19 哲学僵尸与意识：理性主义者都在讨论什么？
50:38 当思想社群有了富豪捐赠者和专业机构
53:35 AI安全思想和P(doom)逐渐成为争论焦点
59:09 狗狗币的故事：意外收到大量代币之后
01:05:10 印度疫情救助与FLI：两笔捐赠如何落地
01:08:13 当FLI转向AI政策，Vitalik和它的矛盾何在？
当“帮助人类”变成机构、政策与权力
01:10:18 一个领域已经有很多钱，还值得继续捐吗？
01:13:31 从救助生命到影响政策，捐赠效果为什么更难判断？
01:18:46 SBF留下的问题：为什么聪明人也会看错人？
01:21:01 EA、理性主义、e/acc与d/acc，分歧到底在哪里？
01:27:38 “好公司必须赢”：相信Anthropic，能解决安全问题吗？
01:30:29 安全、开源与商业利益：谁来决定AI的未来？
01:36:06 Vitalik眼中的OpenAI：开放、安全与加速之间的变化
除了加速与暂停，还有什么选择？
01:37:57 d/acc：Vitalik为什么主张加强分布式防御？
01:42:04 以防疫为例：怎样让普通人拥有保护自己的工具？
01:43:16 面对AI的不确定性，普通人可以怎样理解这些争论？
01:45:14 Vitalik：承认我们还不知道的事情
01:48:04 AI安全也需要制衡：让多个不完美的系统互相监督
【相关阅读和名词解释】
往期相关：E233｜硅谷右翼的权力网如何形成？聊聊彼得·蒂尔的思想启蒙拼图
人物：
• William MacAskill（威廉·麦卡斯基尔）：哲学家，曾任牛津大学哲学副教授，EA运动共同发起人之一，共同创办了Giving What We Can、80,000 Hours等机构，也是长期主义的重要倡导者。
• Sam Bankman-Fried（萨姆·班克曼-弗里德，SBF）：加密货币交易所FTX联合创始人，曾是EA最受瞩目的支持者和捐赠者之一。
• Eliezer Yudkowsky（埃利泽·尤德考斯基）：AI安全研究者与写作者、机器智能研究所共同创始人，也是互联网理性主义社群的重要奠基者。他关于认知偏差、理性思考和AI对齐的文章，影响了LessWrong及部分EA社群。
• Chris Olah（克里斯·奥拉）：Anthropic联合创始人，主要研究如何理解神经网络的内部运作，是机械可解释性领域的重要研究者。
• Kevin Bass（凯文·巴斯）：网络评论者，曾公开追查并质疑Anthropic、METR及相关AI安全机构之间的资金和人际联系。
• Jacob Coxon（雅各布·考克森）：曾在OpenAI和Anthropic从事研究，2026年9月辞职并公开警告前沿AI公司的竞争可能带来严重安全风险。
• Dustin Moskovitz（达斯廷·莫斯科维茨）：Facebook和Asana联合创始人，与妻子Cari Tuna创办Good Ventures，承诺捐出绝大部分财富。
• Jaan Tallinn（雅恩·塔林）：Skype联合创始人，长期资助AI安全与存在风险研究，也是未来生命研究所的共同创始人。他参与支持的Survival and Flourishing Fund，是相关研究机构的重要资金渠道之一。
• Gideon Lewis-Kraus（吉迪恩·刘易斯-克劳斯）：《纽约客》记者，2022年撰写了关于William MacAskill的长篇人物报道。
• Toby Ord（托比·奥德）：澳大利亚哲学家、Giving What We Can共同创始人，EA运动的重要早期推动者。他长期研究全球贫困、道德责任与可能威胁人类长远未来的存在风险。
• Scott Alexander（斯科特·亚历山大）：精神科医生与写作者，先后创办Slate Star Codex和Astral Codex Ten。他的文章涵盖科学、医学、社会议题和认知方法，是理性主义社群的重要阅读材料。
• Zvi Mowshowitz（兹维·莫肖维茨）：Don’t Worry About the Vase的作者，长期评论AI发展、安全与政策。
• Nick Bostrom（尼克·博斯特罗姆）：哲学家，曾任牛津大学教授、未来人类研究所创始主任，《超级智能》作者。他对超级智能、存在风险和人类长远未来的研究，影响了EA及AI安全领域的讨论。
• Sandeep Nailwal（桑迪普·奈尔瓦尔）：Polygon联合创始人、印度疫情救助基金CryptoRelief发起人。本期Vitalik谈到向该基金捐赠加密货币。
机构：
• 80,000 Hours（八万小时）：由William MacAskill和Benjamin Todd共同创办的非营利职业研究与咨询机构，帮助人们思考如何利用职业生涯产生更大的社会影响，是EA的重要机构之一。
• METR（模型评估与威胁研究，Model Evaluation & Threat Research）：研究与评估前沿AI能力及潜在重大风险的非营利机构。
• Coefficient Giving：前身为Open Philanthropy的慈善资助与咨询机构，长期与Moskovitz夫妇的Good Ventures合作。它是EA相关资助网络的重要节点，支持全球健康、动物福利、疫情防范和AI安全等领域。
• Future of Life Institute（未来生命研究所，FLI）：研究并倡导降低先进技术重大风险的非营利机构，工作涉及AI等领域。它接受了Vitalik的重要捐赠。
• Centre for the Governance of AI（人工智能治理中心，GovAI）：从事AI治理与政策研究、培养相关人才的非营利机构。
• Machine Intelligence Research Institute（机器智能研究所，MIRI）：由尤德考斯基等人共同创办、长期关注高级AI与人类利益如何对齐的非营利机构，与理性主义及EA社群联系密切，也是本期提到的Vitalik曾支持的机构之一。
• GiveWell：通过证据与成本效益分析评估慈善项目、引导捐赠的非营利机构，主要关注全球健康与发展。
• Against Malaria Foundation（抗疟疾基金会，AMF）：主要通过资助长效杀虫蚊帐的分发预防疟疾的慈善机构，长期获得GiveWell推荐。
• PopVax：印度生物技术公司，研发疫苗和癌症免疫疗法。其疫苗项目获得过Vitalik的Balvi基金支持。
• Lighthaven：由Lightcone Infrastructure运营的伯克利会议与活动园区，经常举办理性主义、AI安全及相关社群的聚会。
• The Curve：围绕先进AI的发展、风险、经济影响与治理举办的会议，汇集研究人员、企业界、政策界及不同立场的参与者。
• Progress Conference：由Roots of Progress Institute主办，讨论科技、经济和社会进步的会议。
• Effective Altruism Global（有效利他主义全球大会，EA Global）：面向EA社群的系列会议，讨论如何通过研究、职业选择和捐赠更有效地改善世界。
• Zuzalu：Vitalik等人于2023年在黑山组织的临时社区实验，参与者共同生活、交流并开展活动。
• PauseAI（暂停AI运动）：主张在能够确保安全并实现民主监督之前，暂停前沿AI开发的国际草根运动。
• LessWrong：由尤德考斯基等人推动形成的社区博客，讨论理性思考、认知偏差、决策与AI风险，是互联网理性主义社群的重要平台，与EA存在思想和人员上的广泛交集。
作品：
• Machines of Loving Grace（《充满爱意的机器》）：Dario Amodei于2024年发表的文章，讨论强大AI可能为健康、经济和社会带来的积极变化。
• The Sequences（《系列文章》）：尤德考斯基关于理性思考、认知偏差、信念更新、决策和AI等问题的一系列博文，是LessWrong及理性主义社群的重要基础文本，也影响了部分EA参与者。
• Rationality: From AI to Zombies（《理性：从AI到僵尸》）：以The Sequences等博文为基础编辑整理的尤德考斯基文集。
• Slate Star Codex（《石板星法典》）：Scott Alexander原来的个人博客，涉及医学、科学、政治、哲学和理性思考，是理性主义社群的重要交流与阅读平台。
• Astral Codex Ten（《星界法典十》）：Scott Alexander在Slate Star Codex之后开设的博客与newsletter，继续讨论科学、社会问题和理性判断。
• Don’t Worry About the Vase（《别担心花瓶》）：Zvi Mowshowitz的博客与newsletter，近年来大量追踪AI能力、安全研究、企业动态和政策。
• Harry Potter and the Methods of Rationality（《哈利·波特与理性之道》）：尤德考斯基创作的《哈利·波特》同人小说，设想接受科学与理性思维训练的哈利如何理解魔法世界。
• UNSONG（《无歌》）：Scott Alexander创作的幻想小说，将宗教神秘主义、语言和现实世界的运行规则结合起来。
• Snowmoon（《雪月》）：Vitalik创作并公开发布的小说。
思想和流派：
• Effective Altruism（有效利他主义，EA）：用证据和理性分析，寻找最有效的助人方式。关注全球Lighthaven健康、动物福利等议题，部分参与者尤其重视AI安全。
• Rationalism（理性主义）：本期特指围绕LessWrong等博客形成的社群，强调识别认知偏差、根据证据修正判断。与EA联系密切，但不等同于EA。
• Effective Accelerationism（有效加速主义，e/acc）：主张加快AI等技术的发展，相信创新与竞争能推动社会进步，通常反对以灾难风险为由限制开发。
• d/acc（防御性加速主义）：Vitalik提出的思路，主张优先发展能保护人、分散权力的技术，例如网络安全、疫苗和空气过滤，提高社会抵御风险的能力。
【新播客：消费101】
《消费101》是《硅谷101》团队新开设的消费垂类节目，由资深消费记者&研究员麻花担任主播，是一档提供有趣、有料、有用的消费行业观察与品牌解读的播客。每周更新，欢迎关注！
【硅谷101听友群】
在这里，和同好一起深聊科技、商业与未来，期待你的声音，也期待更多有趣的讨论。
扫码加入，即刻相遇！
【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
DOX - Lennon Hutton
Deadlock - Lennon Hutton
Primary Code - Max Anson
Estimations - Christoffer Moe Ditlevsen
The Hoover Dam - Bonnie Grace
Radar Focus - Blue Saga
One Step Away - Dian Shuai
Spring Dance - Forever Sunset
Signal Containment - Out To The World
Pulse Runner - Helmut Schenker
【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net
Special Guests: Afra and Vitalik Buterin.