Anthropic 将 Git 迁移至自研 Scion 系统:应对大规模单体仓库的性能瓶颈
2026-11-10 14:06:01 来源:技王数据恢复

Anthropic 已将单体代码仓库从 Git 迁移至自研的服务器端源代码管理系统 Scion,以解决日合并量激增至 3 万+及 CI 日检出 2500 万次的规模瓶颈。 www.sosit.com.cn
迁移背景与核心问题
Anthropic 在 2026 年 10 月 13 日发布的工程文章中详细说明了此次迁移的原因。随着开发规模扩大,其单体代码仓库主分支的历史记录接近 100GB,压缩后的工作副本超过 25GB。此前采用的浅克隆、稀疏检出、Promisor Remote 及仓库快照等 Git 运维方案,在面对日益增长的合并频率时,运维难度显著增加。 技王数据恢复
Scion 系统的关键技术特征
Scion 是一套将代码仓库操作移至服务器端的系统,其核心设计包括: 技王数据恢复
- 服务端集中处理:提交、合并、变基、历史记录和代码追溯查询均在服务器端执行,客户端仅维护容量受限的对象缓存。
- 内容寻址与分层缓存:采用内容寻址存储和分层缓存机制,替代本地全量副本。客户端通过虚拟化检出不时实体化文件,按需请求缺失的不可变树和 Blob。
- 变更集与派生数据:变更集记录相对于父变更集发生变化的文件,并使用内容寻址指针引用压缩文件。历史记录和代码追溯所需的“派生数据”由服务器独立构建,支持预计算或按需生成。
- 协议与隔离:各层公开相同的检出协议 RPC,但通过强制规定调用顺序来隔离故障,防止区域缓存失效时大量请求压垮权威服务器。
性能表现与资源优化
根据 Anthropic 的内部工作负载数据,迁移至 Scion 后取得了以下成果: 技王数据恢复

- 合并量增长:单日合并变更数从 5 月的约 2500 个增长至 9 月的 3 万多个,增幅约 12 倍。
- 检出速度提升:CI 与研究任务的检出速度提升了两个数量级。
- 资源占用降低:CPU 和内存基础设施占用仅为此前 Git 镜像的二百分之一。
- 缓存效率:每一层的缓存命中率超过 99%。
适用性限制与架构启示
Anthropic 明确指出,Scion 并非通用的 Git 替代品。它需要配套的代码审查、代码搜索和 CI 系统,且这些组件均经过高度定制。此外,该设计牺牲了离线独立性,完全依赖服务器的可用性。
www.sosit.com.cn
对于其他平台工程师和架构师而言,这一案例的主要启示在于:当工作负载发生巨大变化时,需要重新考虑计算工作(如代码仓库查询)的执行位置。将不可变对象通过缓存共享,可以减少重复工作,但同时也带来了系统集成复杂度和对服务器依赖性的增加。Anthropic 建议业界可将其中一些设计理念(如完备的服务器端 API 和更高效的获取协议)引入现有的 Git 平台。 技王数据恢复
如需了解具体的系统集成细节或探讨类似规模下的架构选型,可参考 Anthropic 发布的工程文章:Anthropic 重做源代码管理系统:提交量增长 12 倍,传统架构开始失效。 www.sosit.com.cn
技术审核:邓严军|技王数据恢复实验室技术总监
技王数据恢复