500PB 和 2000 万 QPS:OpenAI 的存储故事其实在讲多租户
500PB 和 2000 万 QPS:OpenAI 的存储故事其实在讲多租户
10 月 23 日,OpenAI 发布了 Habitat 在线存储平台系列的第二篇。文章里最抓眼球的数字是 500PB、40 个区域、10 亿用户和 2000 万 QPS,但真正有普适价值的,是它如何在“独立容器隔离”和“共享容器效率”之间来回摆动,最后重新回到多租户。
一、问题不是数据库不够快,而是租户互相影响
Habitat 最初直接在 Azure Cosmos DB 的默认容器上承载多个产品。早期问题很快出现:
- 不同业务使用了相同的逻辑分区键;
- 单个热点租户会吃掉物理分区的大部分吞吐;
- 物理分区分裂后,总吞吐不变,每个分区的可用 RU/s 反而下降;
- 一个后台批任务可能拖慢登录和注册。
这就是典型的噪声邻居问题。表面看是数据库容量问题,实质是资源隔离模型问题。
二、三个阶段,两种极端都不完美
flowchart LR
A[共享默认容器] --> B[热点键冲突]
B --> C[独立容器隔离]
C --> D[容量规划与运维成本上升]
D --> E[改进的多租户容器]
E --> F[热点限流 + QoS + 自适应扩容]
独立容器能隔离故障,但每个容器都要提前做容量规划。一个新产品从 0 到 100 万 QPS,在共享容器里可能只是整体负载的很小一部分,在独立容器里却是 10000% 的增长。产品团队一旦忘记预配,上线日就会变成故障日。
最终方案不是简单地“回到共享”,而是与 Azure 一起改进多租户控制面:热点键限流、请求分级 QoS、可扩展到 10K RU/s 的无服务器分区,以及基于 RU 使用量的分裂策略。
三、延迟优化的三层路径
Habitat 的读取请求占比超过 90%。官方给出的优化路径是:
- 把最敏感、最小的数据复制到离用户更近的区域;
- 其余读请求依赖本地分布式缓存;
- 用 Rust 重写代理,降低服务自身开销。
缓存失效通过 Cosmos DB change feed 做 CDC,在数秒内传播到全球。最终官方报告全球读取 p50 从约 120ms 降到约 10ms。
这里最值得注意的是“分层”而不是某个单点技术:不是所有数据都值得全球复制,也不是所有数据都能靠缓存解决。先区分数据热度和一致性要求,再决定放置策略。
四、托管服务不等于不用协作
OpenAI 提到,规模大到一定程度后,Cosmos DB 不再是“开箱即用的托管服务”。区域故障、回切风暴、网关连接压力,都需要双方团队共同测试和修复。
这给所有使用云托管数据库的团队一个提醒:
- 厂商 SLA 不等于你的业务 SLA;
- 自研压测必须覆盖故障转移与回切;
- 缓存、连接池、区域放置要和数据库团队共同设计;
- 发生事故时,责任边界不等于排障边界。
五、我的判断
这篇工程文章最值得学的不是“OpenAI 用了 Cosmos DB”,而是它的权衡顺序:先可靠,再快,最后省。
如果你的系统还没到 500PB,不要照搬全球复制和自研存储。但可以马上做的有三件事:按业务边界设计分区键、为后台任务设置独立 QoS、把缓存失效从 TTL 猜测升级为可观测的变更流。
规模不同,原则相同:多租户系统的核心不是共享资源,而是让坏租户不能拖垮好租户。
参考来源
- 快速扩展在线存储,为逾 10 亿 ChatGPT 用户提供服务(第二部分,2026-10-23)— https://openai.com/zh-Hans-CN/index/scaling-storage-one-billion-users-part-two/
- Habitat 第一部分 — https://openai.com/zh-Hans-CN/index/scaling-storage-one-billion-users-part-one/
说明:文中的容量、延迟和 QPS 均来自 OpenAI 官方文章,未做独立压测复现。





