成为 Chat GPT 是什么感觉：一个编解码的隐喻

爬梯登月

61分钟 ·3年前

182

本期讨论的主要是GPT等基于transformer的模型中的编码问题：什么是好的编码？好的编码有什么性质？主观感受如何在编码视角下可能得到解释？

引子：成为ChatGPT是什么感觉

对 Nagel 结论的反对意见

词向量, Token 和 Embedding

A detour: 编码背后的共同问题：运算的翻译GPT中的 Position encoding
大脑中的Time cell：拉普拉斯变换？

编码和解码问题的核心：元素和元素间关系的传递鸭子编码系统
信道容量，范畴论和拓扑数据分析与关系编码

务虚时间：离散还是连续？

本期节目中涉及文献的部分可能有细节上的错误，欢迎捉虫。另外，本期最后留下了一些离散/连续编码的问题和在其神经系统中的原则，有缘可以后面再开一期具体聊。

展开Show Notes

阿富汗

2023.6.12

老师加油更新哦！您的节目信息量极大，作为小白我让gpt4做了复述，才略微理解一点。本期最后的部分很惊艳，用时间细胞做例子，以便理解人类和gpt思考方式的不同。这是其它论述里没有看到的。我看到杨勒昆说现在的大模型没有推理架构，无法实现AGI，但gpt4说专家系统已经包含了推理引擎，那么用gpt4调用各种专家系统完成任务，就像huggingface那篇论文一样，不能算AGI吗？

ptdy

:这个我马上会出一期讲，希望能覆盖一点，最近事情多，老是拖延

十小黑不黑

2023.11.26

同与不同，相似性；线性、非线性，连续与离散；时间坐标，不同经纬；共识性，矛盾性；正弦函数，余弦函数；平滑曲线，傅立叶，拉普拉斯；说的很细了，数学内容其实可以展开的，刚感受到点儿数学之美，结果就嘎了～您开篇想表达的那种黏糊糊，稠密的不可细分的状态，其实不举例子也能理解，就像东北磨叽（一种小豆馅年糕）糯叽叽，做好了咋可能馅儿皮分离，都烀一块儿了。