开源意识流

观点与事件:科技、开源、商业化

首轮AI硬件血斗已结束


By Forsaken

最近美国大选预热如火如荼,无产阶级人民的眼睛是血亮的,很明显美帝人民生活在水生火热中不能自拔,川总甚至扬言,如果他选不上,整个美国就得进入 bloodbath。

Trump's Fascist Talk: “Bloodbath,” “Vermin,” “Dictator” for a Day


美帝会不会进入 bloodbath 跟咱们的幸福生活没毛关系,可 AI 领域率先杀入 bloodbath,其血腥残暴令路人无不侧目。


随着 Nvidia 最近发布 GB200,过去数年来的下一代 AI 硬件架构格局似乎已经有了一个初步的眉目。曾经被吹得昏天地暗的 CXL,猛然发现自己的市场占有率连零头都不足,甚至你走大街上去问问那些满口 AI 的人,10 个有 9 个连 CXL 是啥都没听过——而推上连平日里卖煤炭的都能就 H100 和 GB200 给你随口说出个 1234 来。


A bar chart showing GB200 at 150 tokens/sec/GPU and H100 at 3.4 tokens/sec/GPU or 30X more real-time throughput.


CXL 是一种基于 PCIe 的扩展协议,至于它究竟有多好,广告词咱就不念了,总之就是通过专用硬件连接各路设备让效率更高,反正您得买专用硬件,而且只能在高贵的地方比如数据中心使用。


都说迷恋人工智能的家伙有病,都别急,你有病老黄可有药,药方最近都给开出来了。Nvidia 为了多卖点硬件,没有选择 CXL 那样大而全的专用硬件族路线,而是靠自家的 NVLink-Chip-to-Chip 走向了 rack scaling,只要机柜上有槽,那就尽管找老黄下单好了。什么 scaling law,什么软件架构都不叫事儿,只管买了往上插,算力不是问题。这个时代没有摩尔的 law,只有老黄的 law——资产随着算力翻番不断缩水。


A GB200 NVL72 switch system is shown with 9 NVLink Switch Trays and a cable cartridge to deliver 130 TB/s of total NVLink bandwidth.


虽然第一轮血斗是告一段落了,该死的资本却永不眠。它们也是两头下注,尤其是以 OxideTinyGrad 为代表的两家 AMD 生态的 Infra 厂商,也许就是一下一轮血斗的强力竞争者。


况且,这个世界上并不是只存在有病的 AI 狂热者,大部分投资者还是很理性的,NV 的股市并没有随着老黄的药方和 GB200 的发布而狂热,反而像是被榨干了最后一滴那般保持疲软,从 3 月 19 日发布 GB200 之后仅增长 10% 就进入平缓了,对比前几个月连续 double 的情况,老黄的王炸似乎在脑子正常的投资者那里缺乏威力。



那怎么办呢?青龙年才刚开年,王炸就扔水里去了,是骡子是马咱还得往后走着瞧。