BestBlogs.dev 第 116 期：相互塑造

EmbeddingGemma 2 是 Google 推出的一款新型多模态嵌入模型，构建在 Gemma 4 架构上，采用 Apache 2.0 许可证发布。该模型拥有 7.4 亿参数，优化用于本地推理，支持最高 8K token 上下文，并采用 Matryoshka 表征学习实现存储高效的向量截断。在代码、视觉与音频基准测试中均取得顶级成绩，并与 Google AI Edge 工具集成，用于实时决策引擎与多媒体搜索应用。

Gaza 介绍，BeyondWeb 先从原始数据中挑选高质量文档，再通过改写和重组生成预训练数据，而非让模型凭空编造样本。他引用内部对比称，这种方法能用更少 token 取得相近模型准确率，但转录中没有充分说明评测方法。演讲的重点是工程实践：团队把原先独立运行的 Slurm 研究任务接入 Kubernetes 工作流，串起 Spark 数据筛选、Ray 与 vLLM 生成、训练和评估。在万亿 token 规模下，逐项读取 S3 元数据预计需要 9 至 11 天；批量列举将估算时间缩短至约 2 小时。缩小分区并定期保存进度，则减少了 GPU 故障后的重复计算。跨集群协调 CPU 与 GPU 调度、系统性搜索推理参数，也分别改善了执行效率和吞吐量；后者据称带来约 40% 的提升。Gaza 称，最终生成了约 7 万亿 web token，以及 5 万亿数学与代码 token。这些数字来自团队的一手陈述，并非经过独立审计的基准结果。

本文详细介绍了 NVIDIA Dynamo，该框架旨在处理智能体工作负载的独特流量模式。与标准单轮聊天机器人不同，智能体会话涉及大量初始预填充、重复的工具调用以及并行子代理。通过利用统一的“会话 ID”（或轨迹），Dynamo 将请求感知的基础设施转变为程序感知的基础设施。主要创新包括减少缓存抖动的会话感知调度、用于跨工作负载重复使用前缀的共享 KV 缓存索引，以及跨不同内存层（HBM 和 DRAM）的程序化缓存策略。

Ivan Leo 从单轮模型补全和函数调用讲起，说明智能体如何利用工具、执行环境和多轮推理完成任务。他将 Interactions API 介绍为连接模型、长时间运行的智能体和多模态生成的统一接口。interaction ID 能在多轮调用中保存服务端上下文与思维签名；类型化输出和 steps 数据模型则让音频、图像、工具调用及异步操作更容易辨认。演示包括把图像生成的上下文传递给视频生成，以及结合 Google Search、URL context 和自定义事件提交工具。托管智能体部分展示 Antigravity 在远端沙箱中分析 GitHub 仓库：environment ID 可将后续请求送回同一文件和依赖环境，资料也能从 GCS、GitHub 或内联文件导入。他还介绍了把本地技能迁移到云端、冻结具名智能体配置，以及通过代理注入凭证，使模型无需直接接触令牌。结尾涉及 Gemini API CLI 和迁移技能。功能演示较具体，但性能、安全、价格与扩展性主要仍是厂商陈述，缺少独立测量。

代理式软件开发的发展显著增加了对 Git 操作的需求，推动年均推量增长 4.9 倍。为此，GitHub 正在将架构设计转为将持久化存储（由 Azure Blob Storage 处理）与请求服务层分离，从而可以独立扩展读写容量。新设计通过并行化非关键任务并将在服务路径之外进行维护来最小化协调，目标是提供更高吞吐和韧性，而不会牺牲开发人员期待的可靠性和控制力。

本文详细介绍了 DoorDash GenAI 平台团队自 2023 年初以来的平台演进。团队从服务机器学习工程师转向服务全公司用户，平台随行业经历了从模型到工作流、再到智能体的转变。关键策略包括实施 LLM 网关以处理多提供商路由、成本归因和可靠性回退。他们还讨论了从供应商优先策略转向托管开源权重模型（如 Qwen）以降低成本，以及向“智能体网关”（Agent Gateway）的新兴趋势，用于管理复杂的 AI 工作流和 MCP 服务器。

本次演讲实录介绍了 Spotify 构建「Ads AI」——一个用于生成广告创意的生产级多智能体系统的历程。团队最初依赖一个拥有大量指令的单一复杂智能体，但遭遇了脆弱性和幻觉问题。随后他们转向模块化架构，每个智能体（如脚本生成、护栏、受众解析）由特定团队负责，通过 Bazel 独立打包，并依据标准化的 OTel GenAI 规范进行监控。关键架构决策包括将 LLM 推理与确定性应用代码分离，利用工具为数据（如地理定位）提供支撑而非让 LLM 猜测，以及利用共享会话上下文在各步骤间累积信号。该演讲重点阐述了这种结构如何实现闭环度量，使性能数据能够反哺优化定向和创意生成策略。

OpenAI 部署工程师 Mandeep 和 Sapto 解释，token 标价无法完整反映 AI 应用成本。便宜模型可能消耗更多 token、无法完成任务，或需要人工介入，因此应关注在达到准确率要求、延迟可接受时，成功完成一项任务的成本。他们建议建立代表性的评测集，将模型、运行框架与配置一起测试，在准确率与成本的 Pareto 前沿上选择合适方案，而不是假定最小模型总是最便宜。除模型选择之外，他们讨论四个杠杆：提示词缓存、程序化工具调用、推理强度，以及 Batch 或 Flex 处理。程序化工具调用将中间工具数据的协调、筛选和比较交给代码，只把有用的报告返回模型。推理强度则应独立于答案长度进行评测。缓存方面，他们建议保持提示词开头稳定，并介绍显式断点、仅显式缓存模式、保留缓存的推理强度和工具调整、缓存仪表盘，以及定位未命中的诊断工具。客户案例包括 Clio 自述减少 38% 的输入 token，以及 Blitzy 自述将缓存复用率从 24% 提升至 90%，还有其他由厂商转述的效率改善。这些数字展示可能的收益，不是受控对比基准。结尾建议追踪一项完整任务，每次只改变一个设置，保留经过验证的改进，并随应用演进持续评测。

本文详细介绍了如何将硬件无关的内核 DSL Helion 集成到 vLLM 推理框架中，以优化 NVIDIA Hopper GPU 上的线性层（特别是 GEMM）。通过使用能够探索搜索空间的离线编译（AOT）自动调优器，Helion 在 FP8 和 INT8 量化上实现了顶尖性能，无需手动特化。论文引入了一种混合调度策略：针对较小的 Token 数使用 Helion（通过 CUDA Graphs 减少开销），较大负载则回退到 CUTLASS 等默认内核。它讨论了内核级优化中性能、易用性和可维护性之间的权衡。

该文章介绍了 NVIDIA DOCA GPUNetIO，这是一个用于在 NVIDIA 软件栈中统一 GPU 发起网络操作的框架。它详细说明了 GPUNetIO 如何通过集成 GDA-KI、RDMA 和 Ethernet 技术，让 CUDA 内核直接控制网络事务，从而绕过 CPU 瓶颈。文章强调了该项目的开源特性、与其他 NVIDIA 库（如 NCCL 和 NVSHMEM）的集成，并提供了编程模型和 API 结构的全面概述。

Harald Kirschner 从团队一线经验出发，讲述服务超过 5000 万用户的 VS Code 如何结束延续十年的每月发布节奏，改为每周发布。他强调，代码生成更快还不够，围绕代码的反馈系统也必须同步改善。团队追踪智能体所写代码最终进入提交的比例；据他所述，这个指标从 GPT-4.1 时的 55%，在新模型和更好的运行框架下升至 86%。精简的仓库指引与无障碍技能把专家知识带给更多人，而 TypeScript Go 据称让构建快了十倍。自动化组件截图和 Playwright 驱动的应用操作，让智能体能直接看到 UI 变化并自查；AI 审查意见必须先解决，才进入人工审查。问题分类、错误堆栈归并和部分修复提案也交给自动化处理，同时保留人工纠错。分批发布降低桌面软件发生故障时的回退成本，VSC-Bench 与线上实验则检验更快的交付是否真的改善产品。分享给出了少见的端到端工程实践，但关键数字仍是团队自报，转录没有提供受控的因果验证或详细故障率。

Amin Vahdat 将 AI 数据中心描述为需要联合设计供电、冷却、网络、加速器、CPU 和软件的专用系统。他更看重实际负载的有效产出，而不是理论 FLOPS，因为大型同步任务中一个组件故障就可能使整个系统停顿。Google 的目标是约每六个月将有效令牌服务能力翻倍，依靠模型、运行时与硬件上的持续改进，而非单纯增加芯片数量。他回顾 TPU 从 2013 年针对推理的押注扩展到训练和更广泛负载，并解释联合设计在灵活性与效率之间的取舍，以及团队如何在芯片设计阶段与 DeepMind 协作。长期运行的智能体消除了模型调用之间的人类等待，也提高了对 CPU 编排、网络和存储的需求。供电仍是长期最根本的约束；面向全球的服务还需要专门的推理容量。对谈也涉及光网络与轨道计算的潜力和挑战，并区分已部署实践与探索性设想。

在这场长访谈中，OpenAI 硬件负责人 Richard Ho 回顾了自己从验证、超级计算机设计到 Google TPU，再到组建新硬件团队的经历。他解释 OpenAI 为何公开部分芯片方向：公司仍依赖 GPU，也希望整个硬件生态继续进步。访谈把加速器性能放进系统层面考量，重点讨论内存带宽、功耗、先进封装、网络和制造能力，而非只看单颗芯片的规格。Ho 还谈到招聘团队、与内存供应商合作，以及在需求仍有不确定性时作长期投资。他讨论了模型未来是否可能参与芯片设计，但没有声称 AI 已经替代专业工程师。受访者直接参与项目，使内容具有罕见的一手价值；具体竞争性能和未来规模仍主要是预期，缺少独立基准验证。

AWS CEO Matt Garman 在长访谈中回顾公司从服务初创企业起步，到如今约 1690 亿美元营收规模、增长 37% 的历程。他认为智能体工作负载正在改变云服务假设：智能体可能只需短暂创建数据库，却需要快速启动的计算沙箱、独立权限和网关。AWS 一方面为初创企业保留紧缺 GPU 容量，另一方面服务大型前沿实验室；他提到未来几年采购 200 万块 NVIDIA GPU，以及 2026 年约 2200 亿美元资本开支计划，供给仍受电力、施工、内存、芯片和机房约束。他认为多元客户需求能降低泡沫风险，但也承认估值过热和供应链冲击。他还梳理 Nitro、Graviton、Trainium 的长期自研路线，并指出企业智能体目前大多需要人工监督；安全、自主执行和企业数据权限仍是难点。Bedrock 的数据隔离与现场支持团队是 AWS 的应对方案。访谈提供了稀缺的一线经营信息，但部分市场及环境主张仍属企业自身表述。

Fractile 创始人兼 CEO Walter Goodwin 介绍了一条贯穿模型负载、电路设计、物理实现、封装与存储合作的全栈推理硬件路线。他认为，许多定制加速器仍使用相同的 HBM 基础组件，要获得真正不同的能力，需要深入改变芯片底层。Fractile 最初选择基于 SRAM 的推理方案，但模型规模增长和长上下文注意力暴露了容量与经济性限制。新路线希望兼具 DRAM 的容量与成本优势，以及更高的带宽。Goodwin 提出，单芯片带宽目标约为 HBM 方案的 25 倍，平台预计在次年下半年开始放量；这些属于公司前瞻性主张，并非已验证的部署结果。目标是缩短长时间运行的推理智能体任务，而不仅是让聊天机器人反应更快。他解释，更高带宽可能让激活更稀疏的混合专家模型具备经济性，并改变注意力机制中计算与存储需求的平衡。他还区分设计迭代提速与实际生产提速：制造仍需 3 至 5 个月，规模爬坡更久，芯片必须有数年的有效使用期才能支撑投资。AI 辅助设计可以扩大架构尝试范围，但传统布局、仿真与最终验证仍是瓶颈。他最后认为，前沿实验室需要多样化、可共享的硬件平台，因为独押自研芯片可能使其无法及时采用竞争对手的突破。

在与行业分析师 Ian Cutress 的对话中，ASML CEO Christophe Fouquet 区分了晶体管微缩与系统集成这两条提升计算密度的路径。他回顾了 ASML 从 Philips 分拆后选择整合专业伙伴、而非包办所有零部件的路线，并以 EUV 的漫长研发说明供应商之间为何必须建立长期信任。他认为，技术想法再好，也要有可扩展的供应链和可靠的运营能力，才能制造、交付并维护大量设备。谈到 AI，他把工业数据的重要性置于模型选择之上，解释了 ASML 与 Mistral 如何分工，还讨论了大型工程组织支持初创企业、欧洲企业规模化，以及存储器需求变化等问题。这些判断来自企业一线，但市场预测仍需独立验证。

ClawLabs 介绍团队如何从终端编码会话迁移到 Codex Desktop、分布式测试机器，最终转向共享的持久智能体服务器。更多算力并未消除由人替同事和智能体传话的瓶颈；团队可见的会话让代码变更背后的意图得以共享，也让贡献者能一起引导工作。现场通过共同修改游戏，以及追溯原始对话来理解评审变更，展示了这种协作。服务器还承载仪表板、会议摘要、设计迭代和维护自动化。讲者区分了持续检查的循环与具有明确终点的目标：修复流程先复现问题、验证修复，再由另一个智能体审核；此外还有性能回归检查，以及据称持续十八天、产出百余 PR 的数据库迁移目标。Kevin Lin 随后介绍开源多租户控制平面 OpenClaw Enterprise，其控制包括把受信任运行时代码与智能体执行隔离，限制网络和文件访问，使用模型审查行动，并为智能体分配独立服务账号。社区智能体获得仓库只读权限，向 Linear 写入时需团队批准；软件智能体则负责修改仪表板。团队称内部部署了四百余个 Claw，并将平台定位为与 OpenClaw Foundation 和合作伙伴共同开发的厂商中立基础设施。插件问题和生成摘要不准确等现场限制为愿景补充了边界；部署规模与效率主张没有独立评估。

Airbnb CTO Ahmad Al-Dahle 详细介绍了了公司如何通过“由内而外”的方法向“AI 原生”组织转型。该策略涉及在内部使用 AI 来彻底改变软件工程——例如从依赖文档的工作流转向直接进行代码原型设计——这导致 60% 的代码由 AI 编写，功能交付速度提升了 80%。文章还涵盖了内部上下文图“Everest”的使用（该图用于加速杂货配送等新服务），以及一种平衡了前沿模型与基于成本、延迟和性能需求的定制开源模型的多模型策略。

本期硅谷 101 再次访谈阿里国际站总裁张阔，距离其发布 Accio Work 约半年。张阔的核心观察是：模型在通用榜单上不断逼近满分，但商家在真实经营中的体感提升并不成比例。团队从阿里国际站的百万级真实经营与问答数据中整理出 107 个电商任务并开源，覆盖采购比价、船期预订、交易纠纷判断等七大类，分为 L1-L4 难度；在最前沿模型、无人干预条件下，任务通过率约为 61%。他把 Agent 能力概括为 model × harness × context，强调三者缺一不可，垂直产品的优势来自二十多年积累的交易、供应商与行业上下文。成本方面，XWork 通过帕累托最优路由，把简单任务交给小尺寸或高性价比模型、复杂任务交给前沿模型，并以集约采购和工程/上下文优化，使跑完 107 个任务的成本约为 Codex 与 Claude Code 的三分之一（约 3.69 美元 vs 9 美元以上）。节目还讨论中美 SaaS 与电商生态差异、AI 对 SaaS 的削弱与融合、多 Agent 建议冲突时以经营目标为准，以及采购下单、产品品味、预算分配等最终判断仍应留给人。这是一次有具体数据和实践框架、但立场偏向厂商的访谈。