Mamba:颠覆 Transformer 的全新架构?思辨大模型

Mamba:颠覆 Transformer 的全新架构?

110分钟 ·
播放数53
·
评论数0

 Mamba和Transformer有什么相同与不同?

 Mamba相比Transformer的优势在哪里,其能够全面替代Transformer吗?

Mamba在各个领域的应用前景如何?如何看待现在基于Mamba的图像、视频等方向的变种?

在把Mamba应用到研究领域的时候,有哪些要注意的地方?

来看看声音背后的他们是谁~

王琦,上海交通大学人工智能教育部重点实验室博士生,中国科学院大学硕士,《Easy RL:强化学习教程》(GitHub Star 7.9k,国家图书馆收录,人民邮电出版社季度好书,人邮异步社区度畅销新书)作者,百度飞桨AI Studio 《EASY RL 强化学习-案例与实践》课程设计者,开源项目”l李宏毅深度学习教程 leedl-tutorial” 设计者(GitHub Star 9.2k,李宏毅老师推荐),Hugging Face官方强化学习课程译者,人邮优秀作译者,人邮异步社区年度影响力作者,AI TIME成员,Datawhale成员,英特尔边缘计算创新大使,Hugging Face志愿者。主要研究方向为强化学习、计算机视觉。曾获中国研究生数学建模竞赛二等奖、中国大学生计算机设计大赛二等奖、亚太地区大学生数学建模竞赛(APMCM)二等奖、“挑战杯”全国竞赛江苏省选拔赛二等奖和Datawhale致卓奖,发表SCI/EI论文3篇,申请3项国家发明专利。曾在世界人工智能大会(WAIC)、全球人工智能开发者先锋大会(GAIDC)、AI TIME、人民邮电出版社、Datawhale、古月居等媒体/会议上进行相关主题分享。个人主页:qiwang067.github.io

刘悦,中国科学院大学机器学习与感知实验室直博生,中国科学院大学本科部学士毕业。对主动学习、弱监督、单目或BEV的3D目标检测(户外场景,车辆相关)、场景图生成、图像生成等都有涉猎,目前正在准备VMamba论文,该论文开源代码已有1K+star, arxiv已有20+引用。熟悉C语言,python语言,会编写matlab, html, javascript, golang, cuda, triton等代码,对transformers, diffusers, openmmlab系列等框架/库较为熟悉。github: github.com

苍岳洋,清华大学自动化系直博一年级在读,清华大学自动化系学士毕业,博士研究方向为类脑智能,经营Bilibili站账号:Camnuy_AI,账号每周更新AI领域全新论文,涉及AIGC、NLP、CV等多个子领域,其中对于Mamba的讲解视频是目前B站上播放量最高的,目前参与多个国家重点研究项目,负责基于AI的智能控制、数字呈现等方面。

杨毅远,牛津大学计算机系博士生,《Easy-RL:强化学习教程》作者,牛津大学克拉伦登学者。曾获得国家奖学金、北京市优秀毕业生等荣誉。所参与的开源教程、项目全网阅读/参与量数十万,曾受邀在2022年&2023年世界人工智能大会、华为、阿里等做相关分享。

申泽楷,北京交通大学研究生。研究方向为时空数据挖掘。