随着大模型的兴起,Token这种收费模式也逐渐被大家所接受。那么,为什么是这样收费呢?本文将深入解析Tokens的本质,探讨其在大模型中的作用,以及按Tokens收费的合理性、优势和未来趋势,供大家参考。如果你用过ChatGPT、文心一言这类大模型产品,可能会注意到它们的收费方式很特别——按Tokens数量计费。这和传统软件按次数、按时间收费的模式完全不同。为什么大模型对Tokens这么“斤斤计较”?Tokens到底是什么呢?一、什么是Tokens?在大语言模型中,Token 是指输入文本的一小部分,它可以是一个单词、一个字符或者一部分单词。在不同的语言模型中,Token 的定义和处理方式可能有所不同,但基本原理是一致的:模型将文本分割成更小的单元进行处理和理解。1. 拆解文本的“乐高积木”Tokens不是简单的“字”或“词”,而是大模型理解文本的最小单位。中文:1个汉字 ≈ 1.5-2个Tokens(因为要考虑词语组合)英文:1个单词 ≈ 1-3个Tokens(比如“ChatGPT”会被拆成“Chat”+“GPT”)特殊符号:标点、空格都可能单独算Token举个例子:“你好!今天天气真好。”(共8个字)实际可能被拆成:你 | 好 | ! | 今天 | 天气 | 真 | 好 |。 → 8个Tokens2. 为什么非要拆成Tokens?人类看文字是整体,但AI只能处理数字。Tokens相当于把文字转成数字编码的“桥梁”,每个Token对应一串数字(比如你=1024,好=2048),方便AI计算。二、那为什么非要按Tokens收费呢?大模型运行的计算成本非常高按tokens计费是为了更精准控制资源使用这样的计费方式更加的透明和公平1. 成本跟着Tokens走算力消耗:处理100个Tokens的提问,比10个Tokens复杂10倍,GPU显卡要烧更多电。内存占用:AI生成答案时,需要记住之前的Tokens(类似你写作文要记得前文),Tokens越多,内存压力越大。响应时间:Tokens越多,AI“思考”时间越长,服务器排队更久。2. 更公平的“用多少付多少”传统会员制(比如包月)的问题是:轻度用户补贴重度用户。按Tokens收费后,偶尔用AI查资料的人不用帮天天写代码的土豪用户买单。3. 商业模式的可持续性大模型训练成本极高(GPT-4耗资约1亿美元),按Tokens收费能让企业根据实际使用量调整资源,避免亏损,持续优化模型。三、Tokens和传统API收费有啥不同?虽然,DeepSeek也是通过API调用,但这只是技术方式,而不是收费方式。不过,之前的API调用,业界默认的收费方式是按次收费,每调用一次,收取固定费用。简单来说,传统API像“按碗卖米粉”,一碗一个价;Tokens则是“按克卖和牛”,用得多就付得多。四、除了API、Tokens收费方式,还有没有其他收费方式?除了按Tokens收费,市面上也有其他模式,但各有优缺点:1. 订阅制(包月/包年) 适合高频用户 企业可能亏本(比如用户疯狂薅羊毛)2. 按时间收费(比如1元/分钟) 简单直接 不公平(AI处理100字和1000字耗时不同)3. 按功能分级(基础版/专业版) 适合明确需求场景 无法覆盖长尾需求4. 为什么Tokens模式胜出?它最接近真实成本,同时让用户灵活控制预算(比如设置每月Tokens上限)。五、Tokens是AI世界的“硬通货”Tokens的本质:文本处理的“工作量单位”,直接挂钩AI的算力成本。收费逻辑:用多少资源付多少钱,避免“大锅饭”式的不公平。未来趋势:随着模型升级,单Token成本可能下降,但计费方式不会大变。下次用AI时,不妨留意一下你的输入字数——你花的每一分钱,都在为这些“文本颗粒”买单!六、问题解答Q:目前我们随便用哪个大模型都是免费的,可以直接使用,那么这个token收费是哪方收费了呢。A:目前虽然有一些大模型可以免费使用,但 token 收费主要是由大模型的服务提供商收取的。大模型的服务提供商主要是指那些开发、训练和部署大模型,并将其作为服务提供给用户的公司或机构。这些提供商通过自己的平台或接口,让用户能够使用大模型进行各种应用,如文本生成、自然语言处理等。本文由 @贝琳_belin 原创发布于人人都是产品经理。未经作者许可,禁止转载题图来自Unsplash,基于CC0协议该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务