读见

张阔:用真实商业任务检验 AI 系统

原题E255|模型越来越强,为什么用户没感觉?再访阿里国际站总裁张阔

时长 46:13

本期节目张阔:用真实商业任务检验 AI 系统
00:00-46:13

听前速览

5 个要点

阿里国际站总裁张阔复盘 AI 电商 Agent 半年进展:通用榜单近满分,但无人干预下真实任务通过率仅约 61%,模型、工程框架与上下文缺一不可,按任务路由模型才能把成本降到商家日常用得起。

  1. 通用榜单接近满分,不等于真实业务中可用;107 个真实电商任务在无人干预下通过率约 61%。

    张阔团队用阿里国际站真实经营和问答数据构建 107 个任务 benchmark 并开源,覆盖七大类、L1-L4 难度。最前沿模型全自动完成全部任务的比例仅 61% 多,说明 math/coding/通用 agent 评测与电商垂直任务完成度相关性有限,也解释了为什么模型升级没有同步变成商家体感。

  2. Agent 能力等于 model × harness × context,任一项为零则整体为零。

    张阔认为垂直 Agent 不能只等模型升级,必须同时做模型后训练、推理服务、工程框架与上下文管理。垂直产品的护城河来自二十多年积累的交易、供应商沟通、行业属性与平台趋势数据;这些上下文决定 AI 能否理解企业到底在优化利润、份额还是速度。

  3. 成本决定 AI 能否成为日常工具,帕累托最优路由把简单任务交给便宜模型。

    XWork 按任务难度路由到不同模型:L3 以下用高性价比或小尺寸模型,复杂任务用 frontier 模型,并以集约采购、harness 与 context 优化压低成本。跑完 107 个任务,XWork 约 3.69 美元,Codex 与 Claude Code 均在 9 美元以上,约为其三分之一。商家固定用最贵模型解决所有问题是常见误区。

  4. AI 接手重复性经营工作,但最终商业判断仍应留给人。

    多平台经营报表、商品发布、客户经营分析与风险预警等重复工作适合 AI;而采购下单、产品品味、市场判断、预算分配以及多 Agent 建议冲突时的取舍,需要老板基于整体经营目标决定。AI 可以让生意更灵活,但不能替代对“这盘生意到底要什么”的判断。

  5. AI 不会简单杀死 SaaS,而是要求垂直软件与 Agent 互相集成;中美电商与 SaaS 生态差异明显。

    美国 SaaS 更垂直,电商有独立站生态;中国平台更整合,商家习惯多平台经营。SaaS 掌握企业工作流与经营上下文,AI 需要这些上下文才能真正落地,因此更可能是互相集成。AI 产品第一天就是全球化的,但工具、平台与区域上下文仍需适配。

完整摘要

本期硅谷 101 再次访谈阿里国际站总裁张阔,距离其发布 Accio Work 约半年。张阔的核心观察是:模型在通用榜单上不断逼近满分,但商家在真实经营中的体感提升并不成比例。团队从阿里国际站的百万级真实经营与问答数据中整理出 107 个电商任务并开源,覆盖采购比价、船期预订、交易纠纷判断等七大类,分为 L1-L4 难度;在最前沿模型、无人干预条件下,任务通过率约为 61%。他把 Agent 能力概括为 model × harness × context,强调三者缺一不可,垂直产品的优势来自二十多年积累的交易、供应商与行业上下文。成本方面,XWork 通过帕累托最优路由,把简单任务交给小尺寸或高性价比模型、复杂任务交给前沿模型,并以集约采购和工程/上下文优化,使跑完 107 个任务的成本约为 Codex 与 Claude Code 的三分之一(约 3.69 美元 vs 9 美元以上)。节目还讨论中美 SaaS 与电商生态差异、AI 对 SaaS 的削弱与融合、多 Agent 建议冲突时以经营目标为准,以及采购下单、产品品味、预算分配等最终判断仍应留给人。这是一次有具体数据和实践框架、但立场偏向厂商的访谈。

文字稿

  1. 说话人 1:

    大家好,欢迎回到硅谷 101,我是一文。之前我们聊到了大模型的训练数据和榜单,提到每次新模型发布,各种榜单上的成绩都在刷新。但这种进步对于我们用户来说,很多时候并没有变成工作中的进步。以电商为例,从一个产品创意到把它做出来卖到全世界,中间要研究市场、找工厂、比较报价、安排物流,还要在不同平台上开店发布商品,最后算清楚这笔生意到底赚不赚钱。这些工作 AI 现在能接手多少,又会在哪一步卡住呢?

  2. 说话人 1:

    半年前我们请到了阿里国际站总裁张阔,聊了他们刚发布的 SL work。半年过去 agent 产品不断更新,所以我们也再次请到他来聊聊这些变化究竟给商家他的实际经营带来了多少帮助。张阔分享了一个观察,很多模型的通用评测成绩已经接近满分,但在真实经营中他们并没有感受到同样幅度的提升。于是团队从实际业务中整理了 107 个任务测试 AI 在没有人干预的情况下,能不能把工作做完?下面就是我和张阔的对话。阔。

  3. 说话人 2:

    你好你好。其实阔。

  4. 说话人 1:

    三月份的时候就上过我们一次节目。那个时候是你们春节之后刚发布 XO work 这个产品的时候。其实当时你就说 cloud cover 这个产品比当时特别火的 open cloud 更值得关注。现在过去了半年左右的时间,其实我们也看到市场相当于是印证了你的这样一个判断。我觉得我们可以先聊一下 cover 的整体市场。你觉得你现在对于 cover AI 同事这样一个市场的整个判断是什么?

  5. 说话人 2:

    因为 agent 最开始出来解决的第一个问题是 coding。我们现在认为 coding 的市场渗透率我估计 99%。因为很难看到身边有一个研发人员不用任何 AI 去写代码,然后现在绝大多数代码应该都是 AI 产生的。如果跟这个相比,第二个垂直的赛道的渗透可能都远远小于这个数字。

  6. 说话人 2:

    Ec work 本身偏 work 类的产品,它可能完成的内容和能够给它交付的内容相对来讲还是比较有限,还是一些文案类的工作,一些计算类的工作可能完成的更多。但对于商业,就尤其像电商这种要去更复杂的判断,可能更长城的任务,以及它最终这个结果不是一个当下马上可以 verifiable 的结果。对于这类的场景来讲,我们觉得整个 agent 也是刚刚开始的一个状态。

  7. 说话人 1:

    OK 所以我们现在还是相当于把工程类的 coding agent 和非工程类的一些商务类的应用分成两块来看的。你觉得为什么 coding 的任务交给 agent 可能更加容易一点呢?相比你刚才说的比较少用的这些 work 的场景。

  8. 说话人 2:

    我觉得一是本身关于 coding 的工作,他百分之百数字画的。就所有的 code 在 github 或者在所有的这个 code base 里面,容易被 AI 更广泛的学习。第二个去做这个内容的 verifiable,它是一个天然的可以 mario 的一个工作。这个到底能编译完成还是不能完成,出来的结果到底对还是不对的?这些事情天生比较适合现代大语言模型去进行。

  9. 说话人 2:

    如果我们把它换到商业这个场景就太复杂了。第一数据可能更加多元。第二个它本身其实没有一个通用的流程可言。你可能最终有一个结果,而且不同的企业对于这个经营的结果好和坏的判断也有自己的差异性。你要去做结果的验证,可能这个验证不是一个以单次去记的,它可能是以一个天一周、一月或一年去记的一个结果。它整个反馈的闭环周期就是很长的了解。

  10. 说话人 1:

    那你觉得自从 cloud 相当于是上半年正式推出了 co works 这个产品吗?在这个之后,这些通用的 cover agent 有没有尝试去解决你刚刚说的那些问题呢?这个中间有没有发生什么变化,是你觉得比较值得去探讨的。

  11. 说话人 2:

    第一个就是这个赛道肯定更热闹了。中国你进到任何一个电梯间里边,你现在可能看到的最多的产品就是各类的通用办公类产品。从产品的体验角度来讲,我觉得各家都会有一些自己的特色。从 x work 推出来讲,我们核心可能还是要解决电商这个垂直人群的问题。就今天跟之前比,他能解决的问题肯定更泛化了。

  12. 说话人 2:

    如果说我们这个产品一年之前,当时核心解决的问题是一个 AI 搜索的问题。对,就相当于阿里巴点 com 的 AI mode。买家可以更自然语言的方式去描述自己的需求,或者通过多模态的方式去表达自己的需求。我们现在去看整体搜索涨 20%,但是多模态搜索涨 130%。就是现在越来越多的用户去描述自己的需求,跟之前有一个很大的差别。

节目说明

模型在榜单上越来越强,为什么真正把工作交给AI,还是需要人反复解释、检查和兜底?
半年前,我们与阿里国际站总裁张阔聊了Accio Work,以及Agent如何参与采购和日常经营。半年后,我们再次请到他,聊聊这半年来商家使用Accio Work的真实案例,试图回答这个问题:模型能力的提升,究竟有多少变成了商家工作里的进步?
张阔分享,很多模型的通用评测成绩已经接近满分,但团队在真实经营中,并没有感受到同样幅度的提升。为此,他们从实际业务中整理了107个任务,包括比较供应商报价、识别钓鱼邮件、预订船期和处理交易纠纷。据他介绍,在这套特定评测中,最前沿模型在无人干预条件下的任务通过率约为61%。
这些任务没有数学竞赛那么耀眼,却直接关系到商家的成本、交期和利润。一个好用的Agent,既要能把工作做完,也要让人用得起;既要理解工具和流程,也要理解这盘生意究竟想追求什么。
这期节目,我们聊聊榜单成绩与实际交付之间的落差、通用模型与垂直产品的竞争,以及当AI接手越来越多的执行工作,人还需要保留哪些判断。

【主播】
Yiwen,硅谷101主持人
【嘉宾】
张阔,阿里国际站总裁

【你将听到】
从写代码到做生意,Agent还差什么?
01:18 AI同事市场:编程之外,专业工作走到了哪一步?
02:38 商业任务为什么比编程更难?
03:48 从采购搜索到日常经营,Accio Work的任务边界如何扩展
06:12 商家案例:植物监测产品,从创意走到设计、供应链和销售
07:47 找工厂、比报价、拿样品:采购流程里,人和AI如何协作

通用模型越来越强,垂直产品还有什么优势?
10:13 中美Agent生态的差异:垂直SaaS与平台工具
11:30 AI会替代SaaS吗?
14:11 独立站与平台电商:不同市场如何影响产品设计
15:16 Agent公式:模型 × 工程框架 × 上下文
17:46 模型与工程联合优化,不能只等模型升级

榜单接近满分,真实工作为什么还会失败?
20:29 107个真实任务:无人干预条件下,最前沿模型通过率约61%
24:32 报价、钓鱼邮件、订船和纠纷:怎样才算真正完成任务?
26:33 新版本也可能退步,评测必须持续做
28:55 多平台经营:有流水,不代表有利润
32:39 产品品味、市场判断与预算分配:老板仍要做的选择

最贵的模型,不一定是最好的选择
33:44 多模型路由:如何为不同任务匹配能力与成本?
38:05 多个Agent建议冲突,商家该听谁的?
40:35 上云、定时任务、事件响应与长期经营,是不同的能力
43:05 CoCreate现场:商家对Agent有哪些期待?
44:43 小企业如何借助AI,把生意做得更大

【往期相关】
E231|从B2B到A2A:Agent新基建,如何让“一人企业”做全球生意?

【硅谷101年会来了,线下见】
10月10日—11日,我们将在【硅谷】举办Alignment 2026年度大会,从大模型、Agent、机器人到AI Infra,从实验室里的突破,到真实世界的商业化,我们直击AI变化最剧烈的前沿。来自OpenAI、Anthropic、NVIDIA、Meta、Google DeepMind、SemiAnalysis、Cerebras等公司的研究者、创业者与投资人将齐聚现场,分享正在发生的机遇和挑战。
点击报名入口 ,使用折扣码【FANS15】注册,还可以获得15%折扣。

【硅谷101听友群】
在这里,和同好一起深聊科技、商业与未来,期待你的声音,也期待更多有趣的讨论。
扫码加入,即刻相遇!

【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Trace - Lennon Hutton
Signal Containment - Out To The World
Reclaim - Megan Wofford

【在这里找到我们】
公众号:硅谷101
收听渠道:Apple Podcast|Spotify|小宇宙|喜马拉雅|蜻蜓FM|荔枝FM|网易云音乐|QQ音乐
其他平台:YouTube|Bilibili 搜索「硅谷101播客」
联系我们:podcast@sv101.net

Special Guest: 张阔.

值得记下

事实上可能现在最 frontier 的模型在我们这个办事下面能够通过率就是 61%多一点点。他要想要达到及格水平,现在都有点费劲。
我们说 agent 有一个公式,就是 agent 等于 model 乘以 harness 乘以 context。
因为现在商家测我们的一个感受是必须是一个用得起的 AI 才是一个有价值的 AI
但是从我们整体的感觉上来讲,就是大家没有把本质的水位,每一个发布的模型的时候拉的那么大。
但是最终这个商业判断还是人去做。