新的AI瓶颈：为何内存和存储现在决定企业成果

新闻摘要

推理现在驱动了大部分AI支出，将主要约束从计算转移到内存带宽和存储吞吐量。企业必须设计平衡的系统，将数据移动视为核心挑战。Meta、英伟达和三星推出的新KV缓存层级和更智能的层次结构指明了前进方向。成功属于那些最小化数据访问摩擦的企业。