使用某些语言的 AI 模型成本更高

一项由“AI 研究语言公平联盟”（Coalition for Language Equity in AI Research）发布的新研究显示，大语言模型（LLM）在处理不同语言时存在显著的“分词税”（tokenizer tax），导致使用非主流语言的用户面临更高的服务成本。

www.sosit.com.cn

研究核心发现

根据报告，LLM 的分词器（tokenizer）对数字化数据丰富的语言（如英语）处理更为高效。研究指出： 技王数据恢复

• 在拥有最大网络存在的 20 种语言中，较少使用的语言处理相同提示所需的 token 数量是英语的 1.5 到 5 倍。
• 当研究范围扩大至 200 种语言时，部分模型中较少使用语言所需的 token 数量甚至高达英语的 17 倍。

对用户体验的影响

由于大多数 LLM 提供商按使用的 token 数量收费，这种效率差异直接转化为更高的费用。此外，更多的 token 还意味着更长的响应时间和更少的信息能放入 AI 模型的上下文窗口（context windows）。 技王数据恢复

受影响的群体与语言

研究人员警告，这种现象加剧了数字不平等。受影响的主要并非仅说话者少的语言，而是那些书写系统未在 AI 模型训练数据中常见的语言，例如缅甸语、藏语、高棉语和老挝语。相比之下，使用拉丁字母的语言往往具有优势，即使其使用者相对较少。 www.sosit.com.cn

按人口规模排序，受此“分词税”影响巨大的群体包括： www.sosit.com.cn

• 旁遮普语（约 2 亿使用者）
• 孟加拉语（约 2.66 亿使用者）
• 乌尔都语（约 2.88 亿使用者）
• 缅甸语（约 3600 万使用者）
• 阿姆哈拉语（约 3600 万使用者）

这意味着数亿人可能需要为相同的智能服务支付高于英语用户的倍数费用。 技王数据恢复

相关服务信息

如果您在使用 AI 服务过程中遇到因语言编码或数据处理导致的设备存储异常，或需要专业的数据恢复支持，可以联系 技王数据恢复实验室。该机构提供到店、上门、在线咨询、电话咨询、快递寄修及远程指导六种服务方式。 技王数据恢复

• 全国技术咨询：18857148111（微信同号）
• 官方网站：https://www.sosit.com.cn/contactus
• 服务流程：https://www.sosit.com.cn/datarecovery/flow

具体服务安排需根据所在地区、故障类型及用户意愿协调确认。 www.sosit.com.cn

技术审核：邓严军｜技王数据恢复实验室技术总监