500PB 和 2000 万 QPS:OpenAI 的存储故事其实在讲多租户

10 月 23 日,OpenAI 发布了 Habitat 在线存储平台系列的第二篇。文章里最抓眼球的数字是 500PB、40 个区域、10 亿用户和 2000 万 QPS,但真正有普适价值的,是它如何在“独立容器隔离”和“共享容器效率”之间来回摆动,最后重新回到多租户。

一、问题不是数据库不够快,而是租户互相影响

Habitat 最初直接在 Azure Cosmos DB 的默认容器上承载多个产品。早期问题很快出现:

  • 不同业务使用了相同的逻辑分区键;
  • 单个热点租户会吃掉物理分区的大部分吞吐;
  • 物理分区分裂后,总吞吐不变,每个分区的可用 RU/s 反而下降;
  • 一个后台批任务可能拖慢登录和注册。

这就是典型的噪声邻居问题。表面看是数据库容量问题,实质是资源隔离模型问题。

二、三个阶段,两种极端都不完美

独立容器能隔离故障,但每个容器都要提前做容量规划。一个新产品从 0 到 100 万 QPS,在共享容器里可能只是整体负载的很小一部分,在独立容器里却是 10000% 的增长。产品团队一旦忘记预配,上线日就会变成故障日。

最终方案不是简单地“回到共享”,而是与 Azure 一起改进多租户控制面:热点键限流、请求分级 QoS、可扩展到 10K RU/s 的无服务器分区,以及基于 RU 使用量的分裂策略。

三、延迟优化的三层路径

Habitat 的读取请求占比超过 90%。官方给出的优化路径是:

  1. 把最敏感、最小的数据复制到离用户更近的区域;
  2. 其余读请求依赖本地分布式缓存;
  3. 用 Rust 重写代理,降低服务自身开销。

缓存失效通过 Cosmos DB change feed 做 CDC,在数秒内传播到全球。最终官方报告全球读取 p50 从约 120ms 降到约 10ms。

这里最值得注意的是“分层”而不是某个单点技术:不是所有数据都值得全球复制,也不是所有数据都能靠缓存解决。先区分数据热度和一致性要求,再决定放置策略。

四、托管服务不等于不用协作

OpenAI 提到,规模大到一定程度后,Cosmos DB 不再是“开箱即用的托管服务”。区域故障、回切风暴、网关连接压力,都需要双方团队共同测试和修复。

这给所有使用云托管数据库的团队一个提醒:

  • 厂商 SLA 不等于你的业务 SLA;
  • 自研压测必须覆盖故障转移与回切;
  • 缓存、连接池、区域放置要和数据库团队共同设计;
  • 发生事故时,责任边界不等于排障边界。

五、我的判断

这篇工程文章最值得学的不是“OpenAI 用了 Cosmos DB”,而是它的权衡顺序:先可靠,再快,最后省。

如果你的系统还没到 500PB,不要照搬全球复制和自研存储。但可以马上做的有三件事:按业务边界设计分区键、为后台任务设置独立 QoS、把缓存失效从 TTL 猜测升级为可观测的变更流。

规模不同,原则相同:多租户系统的核心不是共享资源,而是让坏租户不能拖垮好租户。

参考来源

说明:文中的容量、延迟和 QPS 均来自 OpenAI 官方文章,未做独立压测复现。