Anthropic 将 Git 迁移至自研 Scion 系统:应对大规模单体仓库的性能瓶颈

2026-11-10 14:06:01   来源:技王数据恢复

Abstract representation of version control change sets and compressed file references.(1)
Abstract representation of version control change sets and compressed file references.(1)

Anthropic 已将单体代码仓库从 Git 迁移至自研的服务器端源代码管理系统 Scion,以解决日合并量激增至 3 万+及 CI 日检出 2500 万次的规模瓶颈。 www.sosit.com.cn

迁移背景与核心问题

Anthropic 在 2026 年 10 月 13 日发布的工程文章中详细说明了此次迁移的原因。随着开发规模扩大,其单体代码仓库主分支的历史记录接近 100GB,压缩后的工作副本超过 25GB。此前采用的浅克隆、稀疏检出、Promisor Remote 及仓库快照等 Git 运维方案,在面对日益增长的合并频率时,运维难度显著增加。 技王数据恢复

Scion 系统的关键技术特征

Scion 是一套将代码仓库操作移至服务器端的系统,其核心设计包括: 技王数据恢复

  • 服务端集中处理:提交、合并、变基、历史记录和代码追溯查询均在服务器端执行,客户端仅维护容量受限的对象缓存。
  • 内容寻址与分层缓存:采用内容寻址存储和分层缓存机制,替代本地全量副本。客户端通过虚拟化检出不时实体化文件,按需请求缺失的不可变树和 Blob。
  • 变更集与派生数据:变更集记录相对于父变更集发生变化的文件,并使用内容寻址指针引用压缩文件。历史记录和代码追溯所需的“派生数据”由服务器独立构建,支持预计算或按需生成。
  • 协议与隔离:各层公开相同的检出协议 RPC,但通过强制规定调用顺序来隔离故障,防止区域缓存失效时大量请求压垮权威服务器。

性能表现与资源优化

根据 Anthropic 的内部工作负载数据,迁移至 Scion 后取得了以下成果: 技王数据恢复

Abstract visualization of efficient server CPU and memory resources.(2)
Abstract visualization of efficient server CPU and memory resources.(2)
  • 合并量增长:单日合并变更数从 5 月的约 2500 个增长至 9 月的 3 万多个,增幅约 12 倍。
  • 检出速度提升:CI 与研究任务的检出速度提升了两个数量级。
  • 资源占用降低:CPU 和内存基础设施占用仅为此前 Git 镜像的二百分之一。
  • 缓存效率:每一层的缓存命中率超过 99%。

适用性限制与架构启示

Anthropic 明确指出,Scion 并非通用的 Git 替代品。它需要配套的代码审查、代码搜索和 CI 系统,且这些组件均经过高度定制。此外,该设计牺牲了离线独立性,完全依赖服务器的可用性。

www.sosit.com.cn

对于其他平台工程师和架构师而言,这一案例的主要启示在于:当工作负载发生巨大变化时,需要重新考虑计算工作(如代码仓库查询)的执行位置。将不可变对象通过缓存共享,可以减少重复工作,但同时也带来了系统集成复杂度和对服务器依赖性的增加。Anthropic 建议业界可将其中一些设计理念(如完备的服务器端 API 和更高效的获取协议)引入现有的 Git 平台。 技王数据恢复

如需了解具体的系统集成细节或探讨类似规模下的架构选型,可参考 Anthropic 发布的工程文章:Anthropic 重做源代码管理系统:提交量增长 12 倍,传统架构开始失效。 www.sosit.com.cn

技术审核:邓严军|技王数据恢复实验室技术总监

技王数据恢复

上一篇:Harness 已经很准了,为什么还需要一个 Agent Native Database 下一篇:没有了
搜索