Token定名“词元” 它有多重要 AI时代的计量基石
沄森™2026-03-26
3月23日,中国发展高层论坛2026年年会上,国家数据局局长刘烈宏宣布AI领域核心术语Token的中文标准译名为“词元”
Token定名“词元” 它有多重要 AI时代的计量基石。3月23日,中国发展高层论坛2026年年会上,国家数据局局长刘烈宏宣布AI领域核心术语Token的中文标准译名为“词元”。这一官方定名结束了之前“令牌”“代币”“词块”等译法混用的情况,为中国AI产业构建了统一的技术话语体系,也为智能时代的“算力货币”提供了清晰的定义。

“Token”并不是新词,在编译原理、网络安全、区块链以及大模型时代一直存在,但从未被统一命名。在大模型语境中,Token指的是模型处理文本的最小单位,可以是一个字、一个词,甚至一个子词片段。它是模型处理信息的最小计量单位,无论是用户的提问还是AI生成的一段代码,最终都要被拆解成Token来完成运算。因此,Token调用量成为衡量AI模型活跃度和产业价值的关键指标,调用量越高意味着模型使用越多,创造的实际价值也就越大。

由于不同系统的Token切分方式各异,语义边界不稳定,统一命名的需求日益迫切,“词元”这一标准译名便应运而生。官方定义的词元是大模型处理信息的最小信息单元,具有智能时代可计量、可定价、可交易的特征。作为“词元”的Token不仅是智能时代的价值锚点,也是连接技术供给与商业需求的结算单位,为AI商业模式的落地提供了可量化的支撑。

所有文章未经授权禁止转载、摘编、复制或建立镜像,违规转载法律必究。
举报邮箱:1002263188@qq.com