833
12Stella和Amy将在Maven有一场免费的 AI Evaluation and Analytics Playbook (美西10/14 9am)的分享，时长30分钟，欢迎大家来报名参加。不在北美的朋友也别担心,先Sign Up就可以看到回放 Lightning Lesson。
>>> 报名链接: maven.com
这次免费的分享是我们在Maven平台上的课程 AI Evals and Analytics Playbook的一次暖场，在本期节目中，我们也和嘉宾课代表探讨了AI Evals的现状和挑战。
当课代表在9月2日早上发出离职明星实验新创Statsig的告别文后，仅仅15分钟，OpenAI宣布收购Statsig的新闻就炸开了。这个"完美"的timing背后，这个戏剧性的故事引发了这集节目。
Stella、Amy、课代表都以 data science 为起点，却走上不同道路。这场对话从三个维度展开：
Startup 的真相
Stella 和 Amy 都经历过 IPO，却没有人「财富自由」；课代表则在明星新创担任 evangelist，分享了在这个职位面临的种种挑战。三人揭开创业公司神话——B 轮后成功率仅 1%，收购对员工的权益、员工股权被稀释。在现在的环境下，究竟加入 startup 还是不是一个好选择？
AI Evals 怎么做？
我们三人也聊了对AI Evals的看法。Stella 研究 AI Evals 已两年，她观察到 tech 圈内几乎预设「LLM-as-a-judge」是正解，课代表直言，这是唯一能落地的方式，但不一定是对的方式；那到底AI Evals 应该怎么做？如何从「从产品出发」做Evals？与 data science、product analytics 共通核心是什么？
Data Science 的未来
当 AI 工具重塑产业边界，data scientist 下一步应该走向何方？我们又有什么观察和预测？
最后，课代表也分享他从大厂和新创公司离开，一路降薪但坚持 mission-driven 的心路历程。现在经营AI builder community和课程的课代表，给了即将在Maven教授 AI Evals and Analytics Playbook 的Stella和Amy许多鼓励和建议。
Stella 和 Amy 也将推出课程 AI Evals and Analytics Playbook，并于 10 月 14 日举办 30 分钟免费 Lightning Lesson，带大家重新思考如何设计评估策略。(>>> 报名链接: maven.com )
00:00:00 - AI Evals 免费讲座(美西10/14 9am)
00:00:57 - 节目高光、欢迎课代表
00:06:55 - Statsig被收购前15分钟离职的故事
00:09:37 - Startup真相：B轮后1%成功率，三人的startup经历
00:17:21 - 如何谈判薪资和股权？
00:21:03 - 为什么离开大厂？
00:25:37 - Evangelist角色困境：个人品牌vs公司品牌
00:36:37 - Mission driven也能赚钱？
00:41:52 - 课代表的内容创作历程
00:44:40 - AI Evals讨论：为什么LLM-as-a-judge很危险？
00:50:36 - AI Evals 正确做法：从产品出发
00:56:07 - Statsig的AI Evals产品与OpenAI收购的关系
01:02:03 - Data science未来
01:07:12 - Harder things ≠ more valuable
01:15:06 - AI Builders 社群
01:17:26 - Stella和Amy的AI Evals and Analytics 讲座和课程
「StellaxAmy‧自定义」播客
每期邀请一位朋友，讲述中文世界故事、华人故事。和我们一起倾听自定义人生。
如果你喜欢本节目或希望与我们合作，Stella和Amy现已开通Buy Me a Coffee会员支持：buymeacoffee.com
收听更多精彩内容 → linktr.ee
