E251｜推理芯片之战：聊聊Groq、Cerebras与OpenAI三大路径与Bill Dally的设计哲学

过去几年，推理消耗的Token爆炸式增长，Token经济随之成型，推理专用芯片也持续升温：去年年底，英伟达以约200亿美元对AI芯片初创公司Groq进行“收购”（acqui-hire）；做晶圆级“大芯片”的Cerebras今年6月IPO，市值达到670亿美元；OpenAI联手博通，推出了首款自研推理芯片Jalapeño，从设计到流片仅用了9个月——加上我们之前聊过的谷歌TPU，推理芯片牌桌上的玩家越来越多。 在这场推理芯片大战中，各家真正比拼的是什么？为什么走向了不同的技术路径？推理芯片未来又会向什么方向收敛？ 本期硅谷101，我们请来两位AI芯片创业者，逐一拆解这些热门推理芯片在技术路径上的取舍与得失。其中嘉宾Mark是英伟达首席科学家Bill Dally的学生。Bill Dally是现代GPU并行架构最重要的奠基者之一。我们也借由Mark的视角，去了解这位芯片大师是如何思考问题和看待创新的。 【主播】 泓君，硅谷101创始人，播客主理人 【嘉宾】 Mark，AI芯片创业者 徐子扬，AI芯片创业者 【你将听到】 Groq、Cerebras技术路线 04:17 为什么训练看算力，推理看带宽 14:13 SRAM、DRAM、HBM的优劣 16:39 Groq和Cerebras的技术路径选择 19:34 Groq：确定性、静态编译调度，动态性不足 25:18 Cerebras 的软肋：良率、成本与系统适配 32:32 英伟达为什么要acqui-hire Groq 33:58 “推理时代，Cuda一定会被绕过” 推理时代芯片护城河 39:19 两位芯片创业者的SRAM推理芯片方案 4