1125
10上半年Chat GPT大火了一把，围绕大模型的创业项目也层出不穷，那到现在为止过了差不多半年了，市场现状和格局是什么样？
对于做应用的初创团队来说，主流方向还是寻找一个垂直行业或者说细分的应用场景，通过训练行业垂类模型的方式跑通商业化，那从技术的角度来说，基于开源LLM来做商业化落地有哪些瓶颈或者挑战呢？
智能客服赛道出海，是因为国内的toB市场没有好的落地场景还是竞争太激烈？在出海这个大方向上面选择东南亚的理由又是什么？
在和印尼客户对接中有什么和国内不一样的地方，是否有需要特别注意的点？
在本期节目中，我们邀请了某智能客服赛道创业公司的资深产品经理Mike来给我们讲讲LLM创业出海东南亚的一些故事，有着多年AI产品化落地经验的Mike可以说是一直在科技金融to B业务的第一线，让我们来听听他对技术发展趋势的判断以及对市场的感受。
技术小黑板：
基于开源LLM做商业化落地主要有几种不同的技术方向：prompt、RAG和fine-tuning：
Prompt的方法比较好理解，大家在使用的chatgpt时，发给chatgpt聊天的内容实际上就是一种prompt，prompt的形式用自然语言或者代码描都可以，LLM都能理解。 但他所有的回复，都是基于他训练数据中已经包含的知识。这会遇到一个大模型本身的问题，实质上是他的一种特性，业界称之为幻觉，它会对一些它“不知道的内容”也尽量回答你，进而产生一些胡言乱语。
RAG的全称是检索增强生成Retrieval Augmented Generation。大致的逻辑是先把一堆文档资料进行一个预处理，然后通过嵌入embeding的方式，把整理过的文档处理成向量，存入向量数据库，然后每当用户有请求的时候，把客户的请求也处理成向量，再与向量库中的向量进行匹配，找到最相似的向量所对应的原文，把原文和客户的请求交给LLM，让LLM给出回复。
fine-tuning，也就是微调训练，具体做法是给一些标注过的的数据集，在预训练好的LLM上做进一步的训练或者能力提升。
