人工智能公司现在真正需要什么
在 Cline，我们的用户规模已达到50万+，并从顶级风险投资公司获得了大量资金。作为人工智能部门负责人，我最近面试了一位优秀的机器学习工程师候选人。尽管他背景扎实，但我投了“不予录用”票。让我解释一下原因——这揭示了一个更广泛的模式，即人工智能公司现在真正需要什么，而弄错这一点可能会带来20万美元以上的损失。
20万美元的错误：为什么过早招聘机器学习工程师会扼杀人工智能初创公司
我在资金充足的人工智能初创公司中反复看到一个模式
- 通过以人工智能为核心的宣传筹集大量资金
- 急于招聘昂贵的机器学习人才来“验证”人工智能方向
- 眼睁睁看着这些人才花费数月时间在基础架构上
- 最终，他们跳槽到有真正机器学习挑战的公司
真正的成本不仅仅是20万美元的薪水——它是用错误的团队构建错误基础的机会成本。它意味着眼睁睁看着你的机器学习专家花费六个月的时间调试 TypeScript 错误和编写 REST API，而不是做他们受聘来做的工作。
题外话：“机器学习工程师和人工智能工程师有什么区别？”
机器学习工程师和人工智能工程师有很多共同点——他们都与非确定性系统打交道，都关心构建健壮的系统。关键区别在于：机器学习工程师通常专注于从头开始训练定制模型，就像在低层次上用原材料制造新引擎一样。
人工智能工程师，特别是在当今由大语言模型（LLM）驱动的领域中，专注于有效地使用和改进现有的强大模型——更像是知道如何取用高性能引擎、将其集成到完整系统中、测量其性能，并系统地改进其在现实世界中工作方式的机械师。
这两个角色都很有价值，但现在大多数公司在需要引擎制造者之前需要的是机械师。
实践中的模式：一次面试案例研究
让我分享一个说明我意思的典型面试交流
“我们的编码助手有时会做出次优的工具选择——例如，当用户搜索‘牛仔裤’时，它没有包含‘牛仔裤’。你会如何改进这一点？”
一位候选人最近回答道
“也许我们可以使用 dropout 层... 感觉它过拟合太多了...”
这种回答——在理解问题之前直接跳到机器学习架构——完美地说明了我们需要超越的心态。
这些答案本身没错——但它们回答的是错误的问题。它们揭示了一种仍然停留在传统机器学习中的思维模式，而我们现在需要的则截然不同。
成长中的人工智能公司真正需要什么
在 Cline，与许多人工智能公司一样，我们的挑战不在于训练模型。而在于
- 理解我们的系统如何运作
- 系统地衡量成功
- 有条不紊地改进行为
在讨论改进时，我经常看到这种模式
候选人：“也许我们可以微调模型...”
我：“我们如何衡量这是否真的有所改进？”
候选人：“哦... 我们可以看看用户行为...”
这种引导式发现本不应该存在。最优秀的候选人会立即提问
- “你们目前如何衡量成功？”
- “什么信号表明工具选择错误了？”
- “你们正在收集哪些关于用户交互的数据？”
人工智能工程的新浪潮
我们正在目睹一种新型工程师的出现——他们结合了
- 来自传统软件工程的系统思维
- 来自机器学习的非确定性系统严谨性
- 对大语言模型能力和局限性的实际理解
- 专注于测量和系统改进
这些工程师正在构建
- 复杂的提示词评估框架
- 大语言模型行为的实时监控系统
- 提示词改进的 A/B 测试基础设施
- 与业务成果一致的清晰成功指标
在 Cline，这转化为了具体的成功
- 提高了成功率的系统改进流程
- 推动产品决策的清晰指标
- 随着用户群增长而扩展的可伸缩系统
面试中的危险信号
留意那些有以下表现的候选人
- 用不确定性而不是好奇心来回应（“我猜也许...”）
- 需要被引导才能找到实际解决方案
- 无法独立提出测量方法
我经常看到这种模式
我：“你将如何验证你的改变是否有所改进？”
候选人：“我想我们可以收集更多的验证数据...”
我：“那用户行为呢？”
候选人：“哦... 对...”
值得关注的积极信号
最优秀的候选人展现出
- 关于测量的系统思维
- 专注于理解当前行为
- 对用户反馈和指标的兴趣
- 务实的改进方法
最好的回答以这些开始
“首先，我们需要了解成功的样子。我们是否对用户如何使用我们的平台有可观察性？我们如何知道工具选择何时失败？”
建立正确的团队
对于使用大语言模型的人工智能公司来说，这里是需要优先考虑的事项
- 基础设施优先
- 强大的遥测技术
- 清晰的成功指标
- 评估框架
- 正确的技能
- 系统思维
- 注重测量
- 大语言模型理解
- 未来增长
- 数据收集
- 系统改进
- 可扩展架构
展望未来
我们最终会需要传统的机器学习专业知识吗？当然会。但首先，我们需要打下基础，让这些专业知识变得有价值。
现在，我们需要能够做到以下几点的工程师
- 建立强大的测量系统
- 实施系统性改进
- 清晰地思考大语言模型行为
- 创建可扩展的评估框架
未来的人工智能工程不仅仅是关于机器学习专业知识——它是关于构建能够有效利用和改进人工智能能力的系统。我们越早认识到这一点，就越能更好地构建和扩展人工智能产品。
如果你对构建高精度、可信赖的规模化人工智能系统感到兴奋，我们正在寻找有这种思维方式的工程师。请给我发邮件至 nik@cline.bot
