studioglobal
热门发现
答案已发布7 来源

Claude Opus 4.7 新 tokenizer 会让 prompt 变贵吗?读懂 35% token 增幅

有可能变贵:Anthropic 文档称,Claude Opus 4.7 的新 tokenizer 处理文本时,可能使用此前模型约 1x 至 1.35x 的 tokens,最高约多 35%,但会因内容而异。[34] 不能把“token 最多多 35%”直接等同于“总账单涨 35%”。API 成本通常还要看 output tokens、cache writes、cache hits 等计费项。[12][32][2] 升级前最稳妥的做法是抽取真实完整 payload,用目标模型的官方 token counter 比较新旧 token 数,再套入官方 pricing。[33][1][34]

17K0
抽象 AI token 計算圖示,說明 Claude Opus 4.7 新 tokenizer 可能令 prompt token 數上升
新 tokenizer 會令 prompt 更貴嗎?Claude Opus 4.7 的 35% token 警示AI 生成的編輯圖片:tokenizer 變動可能改變同一 prompt 的 token count。
AI 提示

Create a landscape editorial hero image for this Studio Global article: 新 tokenizer 會令 prompt 更貴嗎?Claude Opus 4.7 的 35% token 警示. Article summary: 會,有可能:Claude Opus 4.7 官方文件指新 tokenizer 處理文字可能使用舊模型約 1x–1.35x tokens,最多約多 35%;但增幅視內容而定,唔等於所有 prompt 或總帳單都加 35%。[34]. Topic tags: ai, llm, claude, anthropic, tokenization. Reference image context from search candidates: Reference image 1: visual subject "Anthropic 甚至為了新版Tokenizer 增加了全體訂閱者的速率限制,因為在處理相同輸入時,新架構會多消耗高達35% 的Token。 「Claude Opus 4.7 拒絕填補指令的" source context "你的 AI 提示詞為何失靈?揭開 GPT-5.5 與 Claude 4.7 慘痛進化的真相 - YOLO LAB|解構科技邊際與媒體娛樂的數據實驗室" Reference image 2: visual subject "* I Measured Claude 4.7's New Tokenizer. Here's What It Costs You. The docs said 1.0–1.35x more tokens. On real content, I measured 1.47x. Anthropic's Claude Opus 4.7 migration gui" source context "I Measured Claude 4.7's New Tokenizer. Here's What It Costs You." Style: prem

openai.com

模型升级时,很多人会先看“每百万 token 单价”有没有变化。但还有一个容易被忽略的变量:tokenizer

Tokenizer 是文本进入模型前的切分规则。规则一变,同一段 prompt 可能被拆成不同数量的 tokens;而 token 数正是多家 LLM API 定价文件中的核心计费单位之一。[20][12][32][2]

Claude Opus 4.7 是一个很典型的例子。Anthropic 文档明确写道,Opus 4.7 的新 tokenizer 在处理文本时,可能比此前模型使用约 1x 至 1.35x 的 tokens,也就是最高约多 35%,并且增幅会随内容变化;同一输入通过 /v1/messages/count_tokens 比较 Opus 4.7 和 Opus 4.6,会得到不同的 token 数。[34]

结论:可能更贵,但不是所有 prompt 都涨 35%

更准确的说法是:如果同一份 prompt 在新 tokenizer 下被拆成更多 input tokens,而 input-token 单价不变,那么 input 部分的成本通常会上升。

但这不等于每个 prompt 都会多 35% tokens。Anthropic 给出的范围是约 1x–1.35x,并明确说明会因内容而异,所以不能简单理解为“所有请求一律贵 35%”。[34]

也不能把 token 增幅直接换算成整张账单增幅。Anthropic 的 pricing 文件把

Base Input Tokens
Cache Writes
Cache Hits
Output Tokens
分开列价;OpenAI 和 Gemini 也分别提供 API pricing 文件。[12][32][2] 也就是说,input tokens 变多会影响 input 成本,但总成本还要看 output tokens、缓存命中或写入、模型价格,以及一次请求的具体结构。[12]

为什么同一段文字会变成不同 token 数?

Token 不是字数,也不是简单的字符数。

OpenAI 的 tiktoken 教程展示了:要知道一段文字会被拆成多少 tokens,需要使用对应的 encoding 来计算;Gemini 文档也说明,Gemini API 的输入和输出都会被 tokenized,包括文本、图像等输入。[20][1]

因此,用“字数 × 某个比例”来估算成本,只能做粗略预算。真正可靠的是看目标模型实际返回的 token count。Claude Opus 4.7 和 Opus 4.6 对同一输入会在 count_tokens 中返回不同结果,正说明 tokenizer 改动可以改变同一内容的计数结果。[34]

“最多 35%”应该怎么理解?

常见说法更准确的理解
Opus 4.7 会让所有 prompt 一律贵 35%过度简化。官方说法是约 1x–1.35x tokens,且因内容而异。[34]
同一段文字可能被算成更多 tokens准确。Anthropic 明确说明 Opus 4.7 的新 tokenizer 可能使用更多 tokens,并且会与 Opus 4.6 的 token count 不同。[34]
Tokenizer 改动只影响上下文长度,不影响成本不完整。API pricing 会按 input、output、cache 等 token 用量项目计费,token count 变化可能影响成本计算。[12][32][2]
最好用官方 counter 实测准确。OpenAI 有 input token counting 与 tiktoken 指引,Gemini 有 count_tokens 文档,Anthropic 文档也指向 /v1/messages/count_tokens[33][20][1][34]

成本可以怎样粗算?

如果只看 input tokens,并假设 input-token 单价不变,可以用一个简化公式:

额外 input 成本 ≈(新 tokenizer input tokens − 旧 tokenizer input tokens)× input-token 单价

但这只估算 input 部分。实际账单还可能包括 output tokens、cache writes、cache hits 或其他产品计费项;Anthropic pricing 文件已经把这些项目分开,OpenAI 和 Gemini 也有各自的 pricing 文件可对照。[12][32][2]

升级模型前,建议这样实测

1. 抽取完整 payload,不要只看 user message

生产环境里真正送进模型的内容,往往不只是用户的一句话,还可能包括 system 指令、长上下文、工具返回数据、文件、图像或其他输入。Gemini 文档说明所有 input 和 output 都会被 tokenized;OpenAI 的 token counting guide 也展示了包含文本与图片的 input token counting。[1][33]

2. 使用目标模型的官方 token counter

OpenAI 提供 responses.input_tokens.count 文档,也有 tiktoken 计算指引;Gemini 提供 count_tokens;Anthropic 在 Opus 4.7 文档中提到 /v1/messages/count_tokens,并说明 Opus 4.7 会与 Opus 4.6 返回不同 token 数。[33][20][1][34]

3. 按内容类型抽样,而不是只测一条短 prompt

不要只拿一条短 prompt 下结论。Anthropic 对 Opus 4.7 的描述是 token 增幅会因内容而异,所以应当抽取高流量、长上下文、最贵或最常见的 payload 类型来比较。[34]

4. 把 token 差额套入官方 pricing

先比较新旧模型的 input token count,再用对应模型的官方 pricing 换算 input 成本差额;之后再把 output、cache 等项目纳入总成本模型。Anthropic、OpenAI、Gemini 都有官方 pricing 文件可核对。[12][32][2]

5. 根据结果决定是否优化

如果 token 差额很小,可能只需要更新预算和监控;如果高流量 payload 明显变贵,就可以考虑压缩 prompt、缩短 context、改进缓存策略,或重新估算单次请求成本。重点不是看到“35%”就紧张,而是用官方 counter 和官方 pricing 把影响量化。[12][34]

底线

新 tokenizer 的确可能让同一份 prompt 使用更多 tokens。Claude Opus 4.7 的官方文档已经确认,处理文本时可能比此前模型使用约 1x–1.35x tokens,最高约多 35%,但增幅会因内容而异。[34]

真正该问的不是标题里的“35%”,而是:你的真实 payload 在新模型下多了多少 input tokens?output 行为有没有变化?cache 项目如何收费?对应供应商的 pricing 是否仍按同样方式适用?

升级前先跑官方 token counter,再套入官方 pricing,才是判断 prompt 是否会变贵的可靠方法。[33][1][34][12][32][2]

Studio Global AI

Search, cite, and publish your own answer

Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.

使用 Studio Global AI 搜索并核查事实

要点

  • 有可能变贵:Anthropic 文档称,Claude Opus 4.7 的新 tokenizer 处理文本时,可能使用此前模型约 1x 至 1.35x 的 tokens,最高约多 35%,但会因内容而异。[34]
  • 不能把“token 最多多 35%”直接等同于“总账单涨 35%”。API 成本通常还要看 output tokens、cache writes、cache hits 等计费项。[12][32][2]
  • 升级前最稳妥的做法是抽取真实完整 payload,用目标模型的官方 token counter 比较新旧 token 数,再套入官方 pricing。[33][1][34]

人们还问

“Claude Opus 4.7 新 tokenizer 会让 prompt 变贵吗?读懂 35% token 增幅”的简短答案是什么?

有可能变贵:Anthropic 文档称,Claude Opus 4.7 的新 tokenizer 处理文本时,可能使用此前模型约 1x 至 1.35x 的 tokens,最高约多 35%,但会因内容而异。[34]

首先要验证的关键点是什么?

有可能变贵:Anthropic 文档称,Claude Opus 4.7 的新 tokenizer 处理文本时,可能使用此前模型约 1x 至 1.35x 的 tokens,最高约多 35%,但会因内容而异。[34] 不能把“token 最多多 35%”直接等同于“总账单涨 35%”。API 成本通常还要看 output tokens、cache writes、cache hits 等计费项。[12][32][2]

接下来在实践中我应该做什么?

升级前最稳妥的做法是抽取真实完整 payload,用目标模型的官方 token counter 比较新旧 token 数,再套入官方 pricing。[33][1][34]

接下来我应该探索哪个相关主题?

继续“Claude Security 公测版详解:Anthropic 的 AI 代码漏洞扫描工具”以获得另一个角度和额外的引用。

打开相关页面

我应该将其与什么进行比较?

对照“Grok 4.3 API 解读:1M 上下文、低 token 价与语音平台野心”交叉检查此答案。

打开相关页面

继续你的研究

研究对话

研究问题

搜尋及事實查核:新 tokenizer 會唔會令同一份 prompt 用多咗 token、變相貴咗?

Studio Global AI40 来源

引用的答案

會,有可能;但唔係必然。最明確嘅官方例子係 Anthropic:Claude Opus 4.7 用咗新 tokenizer,官方寫明同一段固定文字可能會用大約 1x 至 1.35x token,即最多多約 35%,而且會因內容而異。[6]

  • 之所以會「變相貴咗」,係因為主流 API 都係按 token 計費。Anthropic 的定價頁面明確分開 Base Input Tokens 同 Output Tokens 收費;Google Gemini 文件亦寫明 API 成本部分取決於 input/output token 數;OpenAI 亦提供按 token 計價嘅 API pricing 頁面。[4][5][2]
  • 所以如果你講嘅「新 tokenizer」係同一供應商、同一價表之下換咗 tokenization 規則,而每個 input token 單價冇變,咁同一份 prompt 被切成更多 token,成本通常就會上升。[6][4][5]
  • 但唔可以一概而論成「新 tokenizer 一定更貴」。Anthropic 自己都寫明係 roughly 1x to 1.35x,而且「varying by content」,即係有啲內容增幅大,有啲細,亦未必所有模型都係加。[6]
  • 最穩陣做法係唔好靠估,直接用模型對應嘅 token counter 實測。OpenAI 有 input token counting 文件;Gemini 有 count_tokens;Anthropic 亦喺 Opus 4.7 文件直接指向 /v1/messages/count_tokens。[1][5][6]

如果你想,我可以下一步幫你做兩樣實用嘢:

  • 幫你查你關心嗰間供應商/模型(例如 GPT、Claude、Gemini)係咪最近換咗 tokenizer。
  • 幫你拎一段你實際用緊嘅 prompt,比較新舊模型大概會多幾多 token、貴幾多。

来源

  • [1] Understand and count tokens | Gemini API - Google AI for Developersai.google.dev

    All input to and output from the Gemini API is tokenized, including text, image. response, err := client.Models.GenerateContent(ctx, "gemini-3-flash-preview", contents, nil). print(client.models.count tokens(model="gemini-3-flash-preview", contents=history)...

  • [2] Gemini Developer API pricingai.google.dev

    English. Pricing. []( []( []( and audio. []( []( started. []( input. []( [](

  • [12] Pricing - Claude API Docsplatform.claude.com

    The "Base Input Tokens" column shows standard input pricing, "Cache Writes" and "Cache Hits" are specific to prompt caching, and "Output Tokens" shows output pricing. Prompt caching multipliers apply on top of fast mode pricing. Fast mode is not available w...

  • [20] How to count tokens with Tiktoken - OpenAI Developersdevelopers.openai.com

    Using o200k base encoding.") encoding = tiktoken.get encoding("o200k base") encoding = tiktoken.get encoding("o200k base") if model in { if model in { "gpt-3.5-turbo-0125", "gpt-3.5-turbo-0125", "gpt-4-0314", "gpt-4-0314", "gpt-4-32k-0314", "gpt-4-32k-0314"...

  • [32] Pricing | OpenAI APIdevelopers.openai.com

    gpt-5.4 $2.50 $0.25 $15.00 $5.00 $0.50 $22.50 . gpt-5.4 $1.25 $0.13 $7.50 $2.50 $0.25 $11.25 . gpt-5.4 $1.25 $0.13 $7.50 $2.50 $0.25 $11.25 . gpt-5.4 $5.00 $0.50 $30.00 - - - . Per-image output pricing for GPT Image and DALL·E models is listed in the Calcul...

  • [33] Counting tokens | OpenAI APIdevelopers.openai.com

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 from openai import OpenAI from openai import OpenAI client = OpenAI() Use file id from uploaded file, or image url for a URL Use file id from uploaded file, or image url for a URL response = client.responses.inpu...

  • [34] What's new in Claude Opus 4.7platform.claude.com

    Claude Opus 4.7 introduces task budgets. This new tokenizer may use roughly 1x to 1.35x as many tokens when processing text compared to previous models (up to 35% more, varying by content), and /v1/messages/count tokens will return a different number of tok...

Claude Opus 4.7 新 tokenizer 会让 prompt 变贵吗?读懂 35% token 增幅 | 回答 | Studio Global