Netflix 通过工作负载认证将 AWS IAM 与内部身份系统连接了起来

Netflix 大数据平台工程师 Dhruv Pratap 在 InfoQ 发布的博文中介绍了一项工作负载认证机制，旨在解决 Amazon EMR 上 Spark 作业的身份映射问题。该机制通过将 AWS IAM 执行角色与内部 Metatron PKI 的短效 X.509 证书绑定，实现了无需手动注入凭据的自动工作负载认证。原文链接。 www.sosit.com.cn

核心设计与实现

Netflix 运行着两套身份系统：AWS 提供 IAM 执行角色，内部服务使用 Metatron 签发短效 X.509 证书。该机制以 Data Project 为粒度，将数万个项目确定性地映射至多账户 IAM 角色池，确保每个项目拥有专用的 IAM 角色。

www.sosit.com.cn

• 控制平面验证：提交任务时，控制平面解析 Data Project 对应的 IAM 角色，并创建已签名的工作负载元数据有效载荷。
• 身份交叉验证：Spark 驱动程序通过 AWS STS 获取调用者身份，Netflix 身份服务将此响应与控制平面的签名元数据比对，以此签发 Metatron 证书。
• 执行器优化：为避免数千个执行器的扇出认证流量，驱动程序仅进行一次认证，并通过加密的 Spark RPC 分发凭据给执行器。

适用场景与建议

该方案适合大数据平台工程师、云安全架构师及身份认证系统开发者参考。对于涉及大规模 Spark 作业且需隔离云身份与内部组织身份的场景，此架构提供了可复用的思路。若您的业务环境面临类似的大规模工作负载认证挑战，可进一步研究相关技术细节。

技王数据恢复

技术审核：邓严军｜技王数据恢复实验室技术总监

技王数据恢复