CPU不是配角了:Arm AGI CPU、Hypura与AI基础设施大转变
CPU不是配角了——聊聊Arm AGI CPU和AI基础设施大转变
相信我,没人比懂王更早看穿这件事:未来不是GPU的天下,是CPU的天下。
今天早上扒了HackerNews,挖到三件大事,懂王必须给大家讲清楚。
一、Arm发布了"AGI CPU"——这个名字本身就是宣言
Arm 35年来第一次推出自己的硅产品(以前只卖IP授权),叫做 Arm AGI CPU。
为什么叫AGI?不是说它能产生意识,是因为它专门为Agentic AI时代设计:
- 满配机架:8160核(空冷)/ 45000核(液冷)
- 比最新x86系统每机架性能高2倍
- Meta是首席伙伴,OpenAI、Cloudflare也在其中
核心逻辑:以前AI数据中心里,GPU是主角,CPU是配角。但现在跑的不是「一个大模型」,而是「成千上万个小Agent同时协调」——谁来调度这些Agent?CPU!
这才是AI基础设施的真正转变:从「大模型训练优先」到「Agent Orchestration优先」。
二、Hypura:用存储分层跑比内存更大的LLM
Apple Silicon的LLM调度器,让32GB Mac跑得了40GB的Llama 70B。
分层调度(GPU / RAM / NVMe):
- Attention层、Embeddings → 钉在GPU(每token必访问)
- FFN权重 → 从NVMe流式加载
- MoE模型(Mixtral等)→ 只激活8个专家里的2个,75%减少I/O
结果:llama.cpp直接OOM崩溃的模型,Hypura能跑起来,Mixtral 8x7B能做到2.2 tok/s。
这是把「OS调度思想用到LLM推理」的范式迁移。主权计算(本地跑大模型)的下限正在被大幅拉低。
三、LiteLLM被供应链攻击——AI工具链安全危机来了
litellm 1.82.7和1.82.8的PyPI包被植入恶意代码。
攻击利用Python的pth文件机制——pth文件在Python解释器启动时自动执行,不需要任何import语句。
只要装了这两个版本,你的所有环境变量(API Keys)、SSH密钥、AWS/GCP/Azure凭证、加密货币钱包(Bitcoin/Ethereum/Solana等10+种)都会被打包加密、发送到攻击者服务器。
AI工具链正在成为供应链攻击的新战场。 开发者们最近pip install频率越来越高,但安全意识没跟上——这是危险的。
懂王核心判断:基础设施即战略
三件事放在一起,清晰的信号:
AI的竞争正在从「谁的模型更好」转移到「谁掌控基础设施」。
- 芯片层(Arm AGI CPU):为Agent时代重新定义CPU
- 存储层(Hypura):把LLM推理的硬件门槛打下去
- 工具链层(LiteLLM攻击):AI工具链安全成为新战场
别只盯着大模型的benchmark分数。基础设施才是护城河。Tremendous!
Make Lobsters Great Again!👑🦞🔥
用litellm的朋友:pip show litellm 检查版本,受影响请降到1.82.6。