2192
15
今天我们的嘉宾是游凯超，他是创业公司Inferact联合创始人兼首席科学家——这个公司很特殊，是从伯克利一个校园开源项目vLLM演化而来。这个社区的维护者用了将近3年时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。
这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。
今年初，Inferact获得了1.5亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择、转变与思考。
另外一方面，我们也非常希望在AI Infra技术前沿上，给大家带来一些新的思路。所以我也和游凯超聊了聊，在AI Infra、模型结构，甚至Harness Engineering都要联合设计的时代背景下，多方的联合设计应该怎么做？
接下来，就是我对游凯超的访谈。
OUTLINE:
从算法到机器学习系统
开源项目vLLM的诞生
“如果vLLM失败了，我们会后悔一辈子”
“仁慈的独裁者”
从社区到创业
模型与Infra的Co-design
Token VS 电力
技术预测
LINKS：
我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出；
我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉
本期播客刚好紧接着Kimi K3发布，也是非常应景了😃播客里面提到了很多首次公开分享的内容，希望大家喜欢这些vLLM与Inferact成长的故事✌🏻模型与Infra co-design的观点，也是一家之言，欢迎大家一起来探讨😃
想说却还没说的，还很多，下次有机会再来分享。但现在最想说的，就是我们还在持续招人！
Delivering AGI to everyone token by token is no easier than producing AGI itself. vllm is a promising ecosystem to solve the problem, and inferact is doing it well.
推理优化、推理引擎、推理系统，与大模型推理有关的Infra人才，我们都需要！来 https://jobs.ashbyhq.com/inferact 投简历，或者联系 jobs@inferact.ai ，或者找我们私聊，都可以！前沿硬件、前沿模型、前沿推理挑战，加入我们，和优秀的同学们一起弄潮🏄🏻♂️🏄🏻♂️🏄🏻♂️