
人工智能公司现在真正需要什么
在 Cline,我们的用户规模已达到50万+,并从顶级风险投资公司获得了大量资金。作为人工智能部门负责人,我最近面试了一位优秀的机器学习工程师候选人。尽管他背景扎实,但我投了“不予录用”票。让我解释一下原因——这揭示了一个更广泛的模式,即人工智能公司现在真正需要什么,而弄错这一点可能会带来20万美元以上的损失。
20万美元的错误:为什么过早招聘机器学习工程师会扼杀人工智能初创公司
我在资金充足的人工智能初创公司中反复看到一个模式
- 通过以人工智能为核心的宣传筹集大量资金
- 急于招聘昂贵的机器学习人才来“验证”人工智能方向
- 眼睁睁看着这些人才花费数月时间在基础架构上
- 最终,他们跳槽到有真正机器学习挑战的公司
真正的成本不仅仅是20万美元的薪水——它是用错误的团队构建错误基础的机会成本。它意味着眼睁睁看着你的机器学习专家花费六个月的时间调试 TypeScript 错误和编写 REST API,而不是做他们受聘来做的工作。
题外话:“机器学习工程师和人工智能工程师有什么区别?”
机器学习工程师和人工智能工程师有很多共同点——他们都与非确定性系统打交道,都关心构建健壮的系统。关键区别在于:机器学习工程师通常专注于从头开始训练定制模型,就像在低层次上用原材料制造新引擎一样。
人工智能工程师,特别是在当今由大语言模型(LLM)驱动的领域中,专注于有效地使用和改进现有的强大模型——更像是知道如何取用高性能引擎、将其集成到完整系统中、测量其性能,并系统地改进其在现实世界中工作方式的机械师。
这两个角色都很有价值,但现在大多数公司在需要引擎制造者之前需要的是机械师。
实践中的模式:一次面试案例研究
让我分享一个说明我意思的典型面试交流
“我们的编码助手有时会做出次优的工具选择——例如,当用户搜索‘牛仔裤’时,它没有包含‘牛仔裤’。你会如何改进这一点?”
一位候选人最近回答道
“也许我们可以使用 dropout 层... 感觉它过拟合太多了...”
这种回答——在理解问题之前直接跳到机器学习架构——完美地说明了我们需要超越的心态。
这些答案本身没错——但它们回答的是错误的问题。它们揭示了一种仍然停留在传统机器学习中的思维模式,而我们现在需要的则截然不同。
成长中的人工智能公司真正需要什么
在 Cline,与许多人工智能公司一样,我们的挑战不在于训练模型。而在于
- 理解我们的系统如何运作
- 系统地衡量成功
- 有条不紊地改进行为
在讨论改进时,我经常看到这种模式
候选人:“也许我们可以微调模型...”
我:“我们如何衡量这是否真的有所改进?”
候选人:“哦... 我们可以看看用户行为...”
这种引导式发现本不应该存在。最优秀的候选人会立即提问
- “你们目前如何衡量成功?”
- “什么信号表明工具选择错误了?”
- “你们正在收集哪些关于用户交互的数据?”
人工智能工程的新浪潮
我们正在目睹一种新型工程师的出现——他们结合了
- 来自传统软件工程的系统思维
- 来自机器学习的非确定性系统严谨性
- 对大语言模型能力和局限性的实际理解
- 专注于测量和系统改进
这些工程师正在构建
- 复杂的提示词评估框架
- 大语言模型行为的实时监控系统
- 提示词改进的 A/B 测试基础设施
- 与业务成果一致的清晰成功指标
在 Cline,这转化为了具体的成功
- 提高了成功率的系统改进流程
- 推动产品决策的清晰指标
- 随着用户群增长而扩展的可伸缩系统
面试中的危险信号
留意那些有以下表现的候选人
- 用不确定性而不是好奇心来回应(“我猜也许...”)
- 需要被引导才能找到实际解决方案
- 无法独立提出测量方法
我经常看到这种模式
我:“你将如何验证你的改变是否有所改进?”
候选人:“我想我们可以收集更多的验证数据...”
我:“那用户行为呢?”
候选人:“哦... 对...”
值得关注的积极信号
最优秀的候选人展现出
- 关于测量的系统思维
- 专注于理解当前行为
- 对用户反馈和指标的兴趣
- 务实的改进方法
最好的回答以这些开始
“首先,我们需要了解成功的样子。我们是否对用户如何使用我们的平台有可观察性?我们如何知道工具选择何时失败?”
建立正确的团队
对于使用大语言模型的人工智能公司来说,这里是需要优先考虑的事项
- 基础设施优先
- 强大的遥测技术
- 清晰的成功指标
- 评估框架
- 正确的技能
- 系统思维
- 注重测量
- 大语言模型理解
- 未来增长
- 数据收集
- 系统改进
- 可扩展架构
展望未来
我们最终会需要传统的机器学习专业知识吗?当然会。但首先,我们需要打下基础,让这些专业知识变得有价值。
现在,我们需要能够做到以下几点的工程师
- 建立强大的测量系统
- 实施系统性改进
- 清晰地思考大语言模型行为
- 创建可扩展的评估框架
未来的人工智能工程不仅仅是关于机器学习专业知识——它是关于构建能够有效利用和改进人工智能能力的系统。我们越早认识到这一点,就越能更好地构建和扩展人工智能产品。
如果你对构建高精度、可信赖的规模化人工智能系统感到兴奋,我们正在寻找有这种思维方式的工程师。请给我发邮件至 nik@cline.bot


