Reader

AI 数据中心太多了

| 奇客Solidot–传递最新科技情报 | Default
在 AI 热下,Xiao Li 在 2023 年从一名房地产承包商跨行转为数据中心项目经理。一年前,他从微信群里看到大量英伟达 GPU 的芯片交易。交易商吹嘘能通过走私搞到被限制出口的英伟达 GPU。当时一块英伟达 H100 能卖出 20 万元。如今他的微信群里开始讲述不同的故事。AI 芯片的交易更谨慎,价格也回落了。两个数据中心项目因难以从投资者手中获得更多资金而被迫抛售 GPU。根据实地采访,很多运营 AI 数据中心的企业正陷入困境。36 氪等媒体报道,新建计算资源中高达八成未被使用。向 AI 公司出租英伟达 GPU 去训练大模型本被视为是一笔包赚的生意。然而随着 DeepSeek 的崛起以及 AI 周边经济形势的突变,该行业处于衰退之中。因为缺乏经验以及过度炒作,数据中心变成了不良资产。市场研究公司 KZ Consulting 称,2023 年和 2024 年,从内蒙古到广东,各地宣布了 500 多个新数据中心项目。中国通信工业协会数据中心委员会称,到 2024 年底,至少有 150 个新建数据中心将建成并投入运营。国有企业、上市公司和国有基金纷纷投资建造 AI 数据中心。在 2024 年初有超过 144 家公司在网信办注册开发大模型,但到了年底只剩下 10% 的公司还在继续投资。DeepSeek 的 R1 和 OpenAI 的 ChatGPT o1 和 o3 等推理模型的兴起改变了企业对数据中心的需求。推理性能对延迟要高要求,意味着数据中心需要建造在相关 AI 企业附近,这意味着很多建造在中西部和农村地区的数据中心对 AI 公司没有什么吸引力。此外大多数数据中心是为训练大模型而不是推理优化的。推理使用的硬件也与训练使用的硬件有很多不同。在此背景下,GPU 租赁价格降至历史最低水平。一台配置了 8 个 GPU 的英伟达 H100 服务器的月租金从 18 万元的高位降至 7.5 万元。由于巨大的电费和维护费用,一些数据中心宁愿空置。