EP75 从总结到搜索:LLM 应用实践分享

EP75 从总结到搜索:LLM 应用实践分享

56分钟 ·
播放数4660
·
评论数18

本期节目我们将从 Podwise 实际使用 LLM 的经验出发,分享不同模型的优缺点,探讨成本下降背后的原因,以及如何混合使用大模型来提高性价比。同时,我们还会聊聊总结类 AI 产品的未来方向,以及 Podwise 如何利用 LLM 开发新的 AI 功能,比如智能推荐、AI 搜索等等。欢迎收听。

更多内容信息和时间线参考下文的硬地笔记,欢迎收听本期节目。

另外,现在加入「硬地骇客」会员服务,即可在会员专属的微信群与其他朋友一起畅所欲言,成为会员也是对我们持续更新最大的鼓励!

本期赞助

Podwise.ai - Podcast knowledge at 10x speed 🚀

硬地笔记

00:00:04 Podwise 的 LLM 应用实践:总结、搜索和创作者工作流

00:09:01 LLM 进化之路:从 GPT-3.5 到 GPT-4.0 和 Gemini 1.5

00:17:44 大模型成本的显著下降:20 倍的成本降低

00:23:31 混合使用大模型:提升性价比的关键

00:26:19 GPT-4o mini vs GPT-4.0:成本与效果的权衡

00:30:07 总结类 AI 产品的未来:场景和数据至关重要

00:33:36 Podwise 的 AI 创新:从总结到知识发现

00:34:58 Podwise 的 RAG 工作流:从音频到搜索

00:38:46 构建私有数据搜索引擎:最佳实践分享

00:43:33 多语言 Embedding 模型的选择:OpenAI 和 BGE M3

00:46:02 Re-rank 模型的选择:BGE M3 和 jina

00:48:08 多语言 Prompt 的最佳实践:Prompt Perfect 和 GitHub Copilot

00:50:54 Gemini 1.5 Flash 的免费额度:个人小项目的利器

00:53:51 独立开发者选择 LLM 的建议:免费、稳定、成本优先

硬地笔记

提到的词汇:

  • qdrant
  • meilisearch
  • dense embedding
  • sparse embedding
  • splade
  • bge-m3
  • bce
  • jina
  • promptperfect
  • ColBERT
  • langchain
  • llamaindex

欢迎关注我们

展开Show Notes
阿瓦隆
阿瓦隆
2024.9.07
主播的note写的真好,单词没听懂翻了下,note里有
crypt0
crypt0
2024.9.04
这个应该是小宇宙应该做的😂
Medall
Medall
2024.9.03
请问全文搜索和向量数据库的名字是?
0xSaito
:
qdrant 和 meilisearch
Medall
Medall
2024.9.03
api每分钟几十次的免费额度,简直就是给startup冷启动阶段量身定做的,目标应该也是这些未来有可能长大的ai类公司们,让他们尽可能留在自己这边
叉叉敌
叉叉敌
2024.9.03
这一点受教了,做AI相关的还是要保存好自己的数据,做更深的应用。因为总结和润色相关的AI已经太多太多了,如果不做更深入的、精细化的,应该是没有门槛的,很容易就被模仿
hantian_pang
hantian_pang
2024.9.05
现在结构化输出可以直接指定到一个对象定义,例如Python里可以用pydantic
HD1002071j
HD1002071j
2024.10.11
初级问题,但是重要:国内怎么接gemili的API?
拨号上网
拨号上网
2024.10.09
分享很有用,感谢
wj_7JUy
wj_7JUy
2024.9.17
想问下逐字稿转文章的prompt怎么写
听说解决了内容的搜索和推荐相关度很低的问题,期待使用
shaomingbo
shaomingbo
2024.9.03
podwise 在替换 LLM 供应商的时候,是怎么衡量比较效果的,是否有工具支撑?
一啸
:
也没有什么高级的通用工具。我们是自己做了一个测试的数据集,跟着自己的业务特征指标走。就是一个普通的单元测试集驱动的。
23:58 混合使用各家模型,组合出做合适的性价比
Kollin
Kollin
2024.9.04
👍
Allomy
Allomy
2024.9.03
各个llm生成token的大小,如何比较啊,每个都去试吗?
一啸
:
模型基本都有统计token 的工具库
Yvaine_Pan
Yvaine_Pan
2024.9.03
求加微信