4443
12好久不见！OnBoard! 回来啦！这一期又是考验听力的全英文访谈。这次，我们跟亲历者聊聊，今年AI领域最受瞩目的一笔10亿美金的并购：Databricks 今年6月以13亿美金的“天价”，收购了当时成立2年的大语言模型（LMM）基础设施创业公司 MosaicML。
Hello World, who is OnBoard!?
可以说，这是今年最受关注的AI领域收购之一了，之后AI 基础设施领域的巨头和创业公司，都被这次收购推动，开始了融资和产品迭代的热潮。收购的时候，MosaicML 仅有60多人，但是已经推出了 MPT 7B, 30B 两个开源大语言模型，总下载量超过330万。也是最早一批推出开源LLM的公司之一。
这次访谈，Monica 不仅邀请到了 MosaicML 联合创始人、CTO，Hanlin Tang, 还邀请到还有之前来OnBoard! 做过客的非常专业的硅谷成长期投资人， Sapphire Ventures 合伙人，Casber Wang，我们得以从创始人和投资人的视角，一起解读这个有里程碑意义的收购，以及对于生成式AI，AI infra 核心竞争力和未来格局等等话题进行非常有意思的探讨。
准备好你的英语听力，enjoy!
嘉宾介绍
Hanlin Tang (@hanlintang), 现Databricks Neural Networks CTO, 前 MosaicML co-founder & CTO, Intel AI Lab Senior Director, Nervana (2016.9 被Intel 4亿美金收购）创始团队成员
Casber Wang (@CasberW), Sapphire Ventures 合伙人，专注data, infra, 安全等领域，投资了Auth0, JumpCloud, StarTree 等。Sapphire Ventures 是一家资产管理总额超过110亿美金的全球风险投资基金。
Onboard！主持：Monica（推特：@Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
我们都聊了什么
01:57 两位嘉宾自我介绍，Hanlin 最近感兴趣的AI产品，以及Casber 最近在AI领域的投资
08:40 LLM 的到来对传统 MLOps 公司有什么影响
14:13 MosaicML 介绍，2021年如何发现这个创业机会的
17:28 ChatGPT 发布以来，MosaicML 经历了哪些重要的里程碑事件，行业有哪些重要变化
21:41 MosaicML 早期客户是哪些公司？
22:55 MosaicML 的几个重要产品决定：一开始为什么要做开源？
26:43 创业公司应该如何思考是否要开源？
34:36 MosaicML 如何做开源商业化？商业化模式如何演进？
37:17 如何思考 LLM serving 和训练平台的产品竞争力和差异性？MosaicML 的平台如何在探索中演进？
42:32 MosaicML 为何推出自己的开源LLM？
45:39 客户如何选择LLM？常见的问题是什么？有什么常见的误解？
51:11 开源和闭源LLM格局会如何演进？如何影响LLM周边的生态？我们能从云计算生态发展历史中学到什么
58:39 客户如何衡量LLM的performance? 客户需要的是怎样的服务？
62:06 LLM 会如何改变SaaS 生态？为什么说我们低估了数据对新的平台的意义？
70:52 为什么说提高LLM 训练效率和成本没有 silver bullet? 做成本优化的公司如何设计商业模式？
82:00 企业如何思考是否要自己训练LLM？还是在已有模型上 fine tune?
89:23 MosaicML 被 Databricks 收购之后会有哪些变化？下一个聚焦的点是什么？
91:32 Casber 作为投资人，如何看待 Databricks 对 MosaicML 的收购？对未来行业有什么影响？
95:44 Hanlin 创业以来对于行业的观点有过什么改变？过去和未来有什么值得关注的变化？
108:52 如果坐时光机到5年后，你最想问的问题是什么？
提到的公司
- MosaicML
- Databricks
- Weights & Bias
- FlowGPT
参考文章
- www.mosaicml.com
- www.youtube.com
- www.latent.space
- blog.replit.com
- www.databricks.com
- www.latent.space
欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！
M小姐研习录 (ID: MissMStudy)
大家的点赞、评论、转发是对我们最好的鼓励！
如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！
有任何心得和建议，也欢迎在评论区跟我们互动~
Hanlin Tang：前C2N联合创始人，之后在Intel运营AI实验室，曾在Nirvana Systems工作。
感兴趣的AI产品：Hanlin提到了一篇老论文，探讨了在没有大量数据集的情况下，通过在猴子视觉皮层测量的滤波器响应来训练卷积神经网络的方法。
Casber Wang：Sapphire Ventures的合伙人，专注于基础设施、数据、DevOps和AI/ML领域的投资。Casber投资了Weights and Biases，一家专注于ML Ops空间的公司，其CEO是Lucas。
08:40 - LLM对传统MLOps的影响：
LLM的出现使得MLOps公司开始关注不同的技术需求，比如大型模型的训练和部署。
传统的MLOps工具可能需要调整以适应更大、更复杂的语言模型。
14:13 - MosaicML的创业机会：
2021年，Hanlin和团队发现了大型模型将成为趋势的迹象。
MosaicML的创立旨在提供软件基础设施，使公司能够高效、便捷地训练自己的模型。
17:28 - ChatGPT发布后的MosaicML里程碑和行业变化：
ChatGPT发布后，企业对训练大型模型的需求大幅增长。
MosaicML开始关注提供训练、微调和服务模型的完整堆栈。
21:41 - MosaicML的早期客户：
早期客户包括那些正在训练BERT风格模型的公司。
22:55 - MosaicML的重要产品决策 - 开源的原因：
开源Composer，一个基于PyTorch的库，因为ML数据科学家希望能看到并了解他们所使用的工具。
26:43 - 创业公司如何考虑是否开源：
开源可以作为验证工具，帮助企业获得社区的信任和支持。需要考虑产品是否能够在开源的基础上实现商业化。
34:36 - MosaicML的开源商业化和商业模式演进：
MosaicML通过提供软件层增加计算消耗来实现商业化，尽管提高了成本，但客户通过使用更有效的工具节约了总体成本。
37:17 - LLM serving和训练平台的竞争力和差异性：
重要的不仅是成本效率，还包括可靠性、隐私保护和企业安全等因素。
MosaicML的平台通过提供一套完整的工具，帮助客户从头开始训练和部署大型语言模型。
42:32 - MosaicML推出开源LLM的原因：
推出开源LLM（如MPT7B）是为了展示其工具的能力，并促进社区的发展。
45:39 - 客户如何选择LLM？常见问题和误解：
客户在选择LLM时面临诸多问题，如数据隐私、模型的特定领域知识，以及成本考虑。
误解包括认为所有模型都适用于所有任务，而实际上不同模型可能适用于不同用途。
51:11 - 开源和闭源LLM的未来格局：
开源和闭源LLM将共存，不同的应用场景可能需要不同类型的模型。
从云计算生态的发展历史中可以学到，市场将形成多样化，不同的解决方案将针对不同的需求。
58:39 - 客户衡量LLM性能的方法及所需服务：
基于具体的业务用例和实际结果。
服务需求包括数据安全性、模型的可靠性和易用性。
62:06 - LLM如何改变SaaS生态：
LLM可能导致SaaS公司将AI功能融入其产品，同时提升数据的重要性。
数据在创建新平台时起着关键作用，SaaS公司可能会使用LLM来改进其现有服务。
70:52 - 提高LLM训练效率和成本的挑战及商业模式设计：
提高训练效率没有简单的解决方案，需要在系统优化和算法创新上不断努力。
成本优化公司应考虑如何在提供有效解决方案的同时实现可持续的商业模式。
82:00 - 企业自行训练LLM或在现有模型上微调的思考：
企业需要根据自身的数据隐私、领域特定知识和成本考虑来决定是自行训练LLM还是在现有模型上进行微调。
89:23 - Databricks收购MosaicML后的变化和未来焦点：
MosaicML将继续专注于其使命，帮助企业构建自己的AI和ML系统。
合并后将专注于整合Databricks的数据处理能力，提供更统一的用户体验。
91:32 - Casber对Databricks收购MosaicML的看法及对行业的影响：
行业内值得赞扬的举措，表明AI基础设施和大型模型领域的重要性和增长潜力。
95:44 - Hanlin创业以来的行业观点变化及值得关注的变化：
在MosaicML的发展过程中，学到了专注于解决硬件工程问题和考虑商业化的重要性。
期待看到减少幻觉和法律问题等技术的发展，这些将决定LLM的实际应用范围。
108:52 - 时光机问题 ：
Hanlin想了解未来是否有超越Transformer架构的新技术。
Casber对未来GPU或TPU等硬件的发展和选择感兴趣。