初创企业Taalas实现大模型ASIC化突破,推出首款为Meta Llama 3.1 8B定制的HC1芯片。硬连线固化模型,单芯片推理速度达16960 tokens/s,是NVIDIA Blackwell GPU的近50倍,60天研发周期创行业奇迹,但通用性缺失等局限待解。
快速收听
0:00
Taalas芯片实现大模型直接刻在芯片上,性能超NVIDIA GPU近50倍
0:53
解决内存墙问题,计算无需数据搬运,速度与功耗优势显著
1:28
单芯片推理速度16960 tokens/秒,响应速度远超ChatGPT
2:00
10芯片服务器功耗2.5千瓦,成本仅为GPU方案的1/20
2:32
24人团队60天完成研发量产,两掩膜定制策略高效低成本
3:06
推理成本7.6美分/百万token,中小厂商使用门槛降低
3:31
短期通用性差,仅适配8B参数模型,复杂场景表现打折
4:27
第二代将用4位浮点量化,平衡速度与质量
4:57
专用化思路打破制程依赖,6nm工艺性能超3nm GPU
5:26
长期或分流推理市场,倒逼巨头转向专用化设计
5:53
模型与芯片协同设计,推动
6:22
未来3-5年或形成GPU训练+ASIC推理二元格局
7:17
核心在于思路突破,从通用转向专用效率最大化
7:44
响应速度加快,AI服务成本降低,智能体交互更流畅
8:14
芯片与模型绑定存在风险,需平衡通用性与灵活性
8:43
团队技术背景强,有望突破通用性与模型规模限制
9:04
HC1芯片优势:性能、功耗、成本、研发速度,局限:通用差、规模受限
10:01
可通过ChatJimmy.ai体验零延

