AI产品开发背后的反直觉真相与实战智慧

2026年初，Lenny’s Podcast迎来了两位AI界重量级嘉宾。

Aishwarya Naresh Reganti和Kiriti Badam，在硅谷AI圈内声名显赫。他们的履历辉煌：OpenAI的Codex团队、Google的AI实验室、Amazon的机器学习部门、Databricks的企业AI解决方案组……在过去几年中，他们亲自参与构建和发布了超过50个企业级AI产品。

这次访谈的价值，不仅在于他们分享的成功故事，更在于他们坦诚地剖析了失败教训。他们表示：“希望通过这次对话，让你的团队少走弯路。”

这场75分钟的深度对话，信息量巨大。从技术架构到产品哲学，从开发流程到用户心理，两位嘉宾全面解析了AI产品开发的方方面面。他们还分享了来自OpenAI、Google内部的真实案例和数据，这些平时很难在公开场合听到。

以下是这场访谈的核心要点编译。

原文链接：https://www.youtube.com/watch?v=z7T...

一、你对AI产品的理解，可能从一开始就错了

大多数团队启动AI项目时，习惯沿用传统软件思维：需求分析→设计架构→编码测试→部署上线。但Aishwarya指出，这种方法的失败率远高于AI原生团队。Kiriti比喻道：“传统软件像建房子，而AI产品更像养孩子。”

两个致命差异

第一：内生的不确定性

传统软件中，相同输入产生相同输出。而AI产品，同样问题可能得到不同答案。这意味着传统的“发现bug→修复bug→验证修复”闭环失效。需要的是持续校准。

第二：人类必须始终在回路中

例如，加拿大航空的客服聊天机器人因错误退款政策被告上法庭。法院判公司败诉，理由简单直接：“在用户看来，这个聊天机器人代表你们公司。”

核心原则：AI应是建议者，而非决策者。

二、从小做起的智慧：为何不应一开始就做Agent

Aishwarya的观点很直接：“这是我见过最大的陷阱之一。”她建议先从解决具体痛点入手，验证价值后再考虑复杂功能。

渐进式构建路径

第一阶段：单次交互- 解决明确、受限的问题。

第二阶段：检索增强（RAG）- 当提示词无法提供足够上下文时接入知识库。

第三阶段：轻量级工具调用- 允许AI调用少量工具。

第四阶段：复杂Agent系统- 只有前三阶段都证明价值后才考虑。

三、评估测试的谎言：为什么Evals分数高不等于产品好

Kiriti分享了OpenAI Codex的实验：“两个模型版本，A离线评估85分，B78分。但A/B测试结果显示B的用户留存率更高。”因为离线评估场景和真实使用场景差异巨大。

四、持续校准的艺术：AI产品永远不会“开发完成”

Aishwarya说：“传统软件有‘feature complete’的概念。但AI产品没有。”因为模型性能会漂移，用户行为会变化。

五、信任危机：为何AI产品的容错率这么低

Kiriti说：“传统软件出bug，用户流失率10-20%。而AI产品出一次离谱错误，流失率能到50-70%。”因为用户对AI的心理预期不同。

六、安全是生死线：提示词注入不是危言耸听

Aishwarya说：“只要你的AI产品面向人，就一定会有人尝试攻击它。”最危险的攻击是提示词注入。

七、技能重构：AI时代工程师的价值在哪里

Aishwarya说：“未来的明星工程师，能设计出让AI写代码的系统。”在AI时代，问题分解能力、快速验证能力、理解人的能力越来越重要。

八、被误判的未来：什么是泡沫，什么是趋势

被过度炒作：

“完全自主的AI Agent” - Kiriti：“大部分应用场景根本不需要也不应该完全自主。”

“AGI还有两年” - “即使最先进的模型，在简单任务上还会犯低级错误。”

“AI会让产品经理和工程师失业” - Aishwarya：“AI让优秀的从业者更强大。”

被严重低估：

多模态能力的潜力- “图像+文本+音频+视频的组合将解锁全新场景。”

AI基础设施的重要性- Kiriti：“好的日志、监控等基础设施是长期竞争力来源。”

小模型的价值- “不是所有任务都需要大模型。”

结语：AI产品的反直觉真相

“更强的模型 ≠ 更好的产品”，“离线评估 ≠ 实际效果”……两位嘉宾用50多个项目的经验告诉我们：AI产品的成功，90%靠产品思维，10%靠技术实现。

“不要问AI能做什么，要问用户需要什么。记住这一点，你的AI产品就成功了一半。” Aishwarya如是说。