3073
9这是一期的主题或许有些硬核：我们连线硅谷一线科技公司，聊聊机器学习的工具栈，ML Infra (更准确来说，MLOps)。这是M小姐公众号上个月的一次直播回放，主题是《下一个infra 百亿美金战场在哪里？顶尖开源公司眼里的 MLOps 新时代》。
Hello World, who is OnBoard?!
欢迎来到 OnBoard!, 真实的一线经验，走心的投资思考，我们聊聊软件如何改变世界。
如果说过去5年是企业服务/SaaS的黄金年代（尤其在美国），那么，2021年绝对可以说是基础软件（主要是PaaS）的爆发之年。不过，在市场情绪急转直下的2022年，data infra 卷到发紫之后，一个infra领域的新战场已经在浮现。这就是这次我们要讨论的主题：MLOps（机器学习 DevOps 工具）.
对于MLOps，一个比较被广为接受的定义是（来自Nvidia），MLOps是结合了ML（Machine Learning，机器学习），应用开发和IT infra的一整套流程和相应的工具链。包括了ML开发的准备-开发-部署整个过程中数据收集、模型开发、模型训练、实验管理、CI/CD，到生产环境部署、监控等一系列工具。
Data Infra （数据基础设施）已经出现了 Databricks, Snowflake 这样的百亿美金公司，而MLOps/ML Infra 似乎在爆发前夜。从上一个时代做平台化的 Datarobot, Dataiku, AWS SageMaker, 做标注的 Scale AI（估值7.5Bn）开始了细分市场的号角。各个领域的新兴独角兽开始涌现，比如基于自动化标注的AI平台 Snorkel AI（估值$1bn）,做 NLP transformer 的Hugging Face (估值 $2Bn), 做实验管理的 Weights & Bias (估值$1Bn) , 分布式计算的Ray/AnyScale （估值$1bn）等等。
但是，要了解这个前沿趋势在硅谷实际的落地情况，这个转折点的背景，还有哪些机会，中国的创业者和创业公司可以如何参与到这个进程中甚至弯道超车，按照Monica 的习惯，当然是要请硅谷最一线的亲历者来聊聊！
这次我们请来的嘉宾的经验，横跨了Apple, Databricks 这样的大厂，也有Snorkel AI, BentoML这样的创业公司，从创业者到产品经理到开发者，他们的视角足够全面，一个多小时的分享，干货也是非常丰富。
直播的反响非常好，很多人要求回放，索性就上传到播客里，供大家回味。
中间因为腾讯视频号直播的连接问题，后面的音质可能不大好，请大家多担待。另外，嘉宾们日常工作都是英文环境，夹杂英文在所难免，尤其是一些专业名词，也希望大家体谅呀！一些名词注释我们也整理在节目介绍中了，真的尽力了！
想要了解更多背景知识和嘉宾介绍，请看这篇硬核宣传稿！
关于主播
Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
重磅直播嘉宾
- Yifan Cao, PM @Cruise ML platform, ex PM@Databricks, ex-PM @Apple ML
- Quinn, BizOps @Snorkel AI, ex-PM @Moveworks
- Chaoyu Yang, Co-founder & CEO @BentoML (github), ex software Eng @Databricks
我们都聊了什么：
03:32 Monica 和几位嘉宾的自我介绍+Fun facts: 我们关注的 MLOps startups
14:02 如何理解 MLOps? 为什么企业需要关注 MLOps?
23:40 为什么现在 MLOps 开始得到了关注，主要的驱动力是什么？
37:01 新的 MLOps 产品早期 adopters 都是怎样的用户？
47:38 从技术提供方的 Databricks 到甲方 Apple, Cruise, 对于企业如何选择 MLOps 产品有什么新的思考？
53:31 BentoML 为何选择 model serving 作为创业切入点？
63:52 企业内部如何推动一个新的 MLOps 公司落地？决策链是怎样的？
68:39 Billion dollar question: MLOps 工具做单点还是平台？未来会如何整合？
77:54 MLOps 开源公司，如何设计商业化路径?
85:22 Yifan 如何看待单点还是平台，开源商业化两个问题（中间网络断掉了得补上……）
90:29 MLOps 目前还有什么挑战和最令人兴奋的机会？
97:23 新领域创业公司早期如何招到优秀的人才
我们提到的公司
- Yifan: Outerbounds, Netflix 的开源项目MetaflowOSS的商业公司
- Chaoyu: Perfect.io, workflow orchestration（工作流编排，其实不是针对 MLOps, 跟Airflow 场景更接近）
- Quinn: Arthur.ai, ML monitoring 机器学习模型监控
- AWS SageMaker
- Fiddler AI: ML 监控和可解释性平台
- Arize AI: ML infra 观察和监控工具
推荐文章
- 有干货的直播介绍：下一个 Infra 百亿美金战场在哪里
- 一篇MLOps 中文科普文章
- 【推荐！】Sapphire Ventures: The Future of AI Infrastructure is Becoming Modular: Why Best-of-Breed MLOps Solutions are Taking Off & Top Players to Watch
- A16Z: Data50
- A16Z: Emerging Architectures for Modern Data Infrastructure
需要了解的名词
- Model serving: 模型服务
- Model deployment: 模型部署
- Feature Store：特征仓库
- Snorkel Flow: Snorkel 开发的data-centric AI development platform，以数据为中心的AI开发平台
欢迎关注M小姐的微信公众号，了解更多中美连线对话！
M小姐研习录 (ID: MissMStudy)
大家的点赞、评论、转发是对我们最好的鼓励！希望你分享给对这个话题感兴趣的朋友哦~
如果你有希望我们聊的话题，希望我们邀请的访谈嘉宾，都欢迎在留言中告诉我们哦！
