61. 在Harvey训练大模型是什么体验？- Joey Wang

“法律的后果会比代码更严重。”

“我们永远都是能够做一个在法律中去做一些决策权……甚至能提供 intelligence level，能够提供在法律中做决策一些 taste。”

“很多东西模型公司没有办法去解决，甚至 lab 要去做，他也没有办法替我们说这个模型会在法律更好。”

“当你一个 agent 就能看到 30 个文件和看到 3000 个文件的时候，你不管什么样的模型，看到 3000 个文件的 agent 都会有更好的收获。”

“模型是验证你这个公司能不能作为上市公司、能不能有很好的 profit margin 而做的一个事情。”

主持：Raymond - 美元二级基金合伙人，苔藓之火主播

小红书 ｜B站 ｜抖音 ｜视频号｜Youtube | Substack | Linkedin｜即刻 ｜公众号：苔藓之火

嘉宾：Joey Wang - Harvey Linkedin, Prev. Figma, Uber, Google

Show Notes

00:12开场：Harvey 估值 155 亿美元、3500 客户、85 国；垂类护城河之问

01:06Joy 背景：Harvey agents/云端 H 平台 Spector，前 Figma、Uber

02:40为什么 2023 年加入 Harvey：GPT 早期体验、PHD recruiter、conviction

05:18大厂 vs 创业公司：审批与部门拉扯 vs 快速 build/ship

07:32Harvey 产品形态：嵌入律师工作流、connector、邮件文档、redline

12:09Redline 与 track changes：谁改的、为什么改、可追溯；律师工作变小

15:19公司名 Harvey vs Mike：提供决策 taste，不只是繁琐工作

18:24大模型迭代是否取代垂类功能：workflow builder → agent builder

22:35何时决定做模型：客户理解、benchmark、synthetic data、post-train 商业化

27:29Taste：法律要长篇大论、每句有索引，不是简短就好

28:14模型选择：Kimi/GLM/千问/DeepSeek，按场景 post-train，orchestrator 调度

33:33Tana/Tenant：内部旗舰训练方向，用 Kimi K3 训 1.0，方法可迁移

38:50Benchmark 难点：法律难对齐、分层任务、playbook、内部法律团队、专家 taste

45:18垂类训模型人才与坑：早期瓶颈是产品；开源最好模型是下限；失败是常态

52:25工程优化立竿见影：搜索 2 秒→200ms，30→3000 文件；Spector 与安全信任

核心观点总结

1. Harvey 是法律垂类 AI 应用，但它的护城河不只是“套壳”
   Harvey 估值 155 亿美元，3500 客户、覆盖 85 国，美国前 100 律所约 80% 在用。它的核心不是做一个聊天框让律师来用，而是嵌入律师原本的工作方式：Word、Excel、Outlook、文档系统、邮件、合同审查，通过 connector 连接数据，输出可追溯的 redline。

2. 垂类应用的关键是“meet with customer”，不是把用户拉到新平台
   律师真正的工作发生在 Word、Excel、Outlook 和大量文档里。Harvey 的产品形态要映射律师已有的工作流，而不是要求他们重新学一套平台。最终交付物仍然是 Word 文档，但带有 redline、修改解释、来源追溯。

3. Redline 和 track changes 是法律场景的关键产品设计
   普通 GPT 可能直接改文档，律师还得“大家来找茬”；Harvey 输出 redline，标明谁改的、为什么改、是 Harvey 改的还是对方律师改的，律师只需 check/accept，工作变小而不是变大。

4. Harvey 与模型的关系是相辅相成，不是简单调用 API
   早期用 GPT-3.5/4 做法律 demo，OpenAI 是投资人，双方有 pretrain 合作。Harvey 很早就是 legal model research company，只是今年才到可商业化阶段：客户足够多、benchmark 和 synthetic data 能力成熟，后训练变得更可行。

5. 模型策略：不做大而全，做小而美、场景专用，用 orchestrator 调度
   Harvey 会公开试用 Kimi、GLM、千问、DeepSeek 等开源模型，按场景做 post-train；不同模型在不同任务上有差异，最后用强模型做 orchestrator/delegation，像“图书馆前台帮你找对应的书”。

6. 后训练的核心不是堆 research 人力，而是 benchmark 和 taste
   法律 benchmark 很难对齐，需要分层任务、playbook、yes/no 评测、内部法律团队和领域专家 taste。Harvey 的 benchmark 要不断接近用户真实场景，甚至预测用户未来会用的场景。数据规模化可与 Surge 等合作，但前期方向和质量判断留在内部。

7. 垂类公司训模型最大的坑：开源最好模型只是下限
   如果开源最好模型在法律上已经能打 OpenAI/Anthropic，后训练必须比它更好才有意义。失败是常态，只是早期失败不会写进 blog。模型训练是长期学习过程，工程优化往往更立竿见影。

8. 工程 harness 的价值被低估：搜索从 2 秒到 200 毫秒，效果天差地别
   document search 从 2 秒降到 200 毫秒，agent 一分钟内能从搜 30 个文件变成 300 个；从串行到并行，再从 300 到 3000 个文件。模型不变，agent 能看到 3000 个文件，效果也会更好。

9. 人才结构反直觉：早期瓶颈是产品，不是 research
   Harvey 早期都是 researcher，但真正缺的是 PM、designer、产品 spec。做模型不一定需要大量 research 人力，更需要懂法律、能跟专家提炼 taste 的人；律师自己也能用 coding agent 写 benchmark/evaluation engine。

10. Spector：云端 sandbox agent，解决多人协作与可验证性
    Joy 做的内部产品 Spector，把 coding agent 放进沙盒，在 Slack 里多人可 tag、共享 runtime/context/trace。解决的是五个人各自跑 agent、结果不可验证的问题。落地难点不是实现，而是权限、安全边界、信任：谁能让 agent 看什么、能不能 bypass 代码 review 规则。

11. 小律所市场：Harvey 偏 SLG，不急于 PLG
    法律后果比代码严重，self-serve 容易让用户误以为 Harvey 对结果负责。Harvey 更愿意找 design partner、有供应商制度、能管好结果的客户，而不是急速扩张让所有人用。