studioglobal
熱門發現
答案已發布7 來源

Tokenizer baru Claude Opus 4.7: apa arti kenaikan token hingga 35%?

Bisa lebih mahal: Anthropic menyatakan tokenizer baru Claude Opus 4.7 dapat memakai sekitar 1–1,35 kali token saat memproses teks dibanding model sebelumnya, sampai sekitar 35% lebih banyak, bergantung pada konten.[34] Namun 35% bukan kenaikan otomatis pada semua prompt atau total tagihan; tagihan juga dipengaruhi o...

17K0
抽象 AI token 計算圖示,說明 Claude Opus 4.7 新 tokenizer 可能令 prompt token 數上升
新 tokenizer 會令 prompt 更貴嗎?Claude Opus 4.7 的 35% token 警示AI 生成的編輯圖片:tokenizer 變動可能改變同一 prompt 的 token count。
AI 提示

Create a landscape editorial hero image for this Studio Global article: 新 tokenizer 會令 prompt 更貴嗎?Claude Opus 4.7 的 35% token 警示. Article summary: 會,有可能:Claude Opus 4.7 官方文件指新 tokenizer 處理文字可能使用舊模型約 1x–1.35x tokens,最多約多 35%;但增幅視內容而定,唔等於所有 prompt 或總帳單都加 35%。[34]. Topic tags: ai, llm, claude, anthropic, tokenization. Reference image context from search candidates: Reference image 1: visual subject "Anthropic 甚至為了新版Tokenizer 增加了全體訂閱者的速率限制,因為在處理相同輸入時,新架構會多消耗高達35% 的Token。 「Claude Opus 4.7 拒絕填補指令的" source context "你的 AI 提示詞為何失靈?揭開 GPT-5.5 與 Claude 4.7 慘痛進化的真相 - YOLO LAB|解構科技邊際與媒體娛樂的數據實驗室" Reference image 2: visual subject "* I Measured Claude 4.7's New Tokenizer. Here's What It Costs You. The docs said 1.0–1.35x more tokens. On real content, I measured 1.47x. Anthropic's Claude Opus 4.7 migration gui" source context "I Measured Claude 4.7's New Tokenizer. Here's What It Costs You." Style: prem

openai.com

Ketika sebuah model LLM naik versi, biaya tidak cukup dilihat dari harga per 1 juta token. Tokenizer adalah aturan yang memecah input sebelum masuk ke model. Jika aturan ini berubah, prompt yang sama bisa dihitung sebagai jumlah token yang berbeda; sementara token adalah salah satu satuan biaya utama dalam dokumen pricing API LLM.[20][12][32][2]

Claude Opus 4.7 adalah contoh yang terang. Anthropic menyebut tokenizer baru ini dapat memakai sekitar 1–1,35 kali jumlah token saat memproses teks dibanding model sebelumnya—hingga sekitar 35% lebih banyak, bergantung pada konten. Anthropic juga menyatakan /v1/messages/count_tokens akan mengembalikan jumlah token berbeda untuk Claude Opus 4.7 dibanding Claude Opus 4.6.[34]

Jawaban singkat: bisa lebih mahal, tetapi bukan otomatis 35%

Jika harga per input token tidak berubah, prompt yang sama tetapi terpecah menjadi lebih banyak input token akan menaikkan biaya input. Namun klaim yang tepat bukan prompt pasti 35% lebih mahal. Rentang resmi yang disebut Anthropic adalah sekitar 1–1,35 kali token, dan efeknya bervariasi menurut konten.[34]

Kenaikan token juga tidak bisa disamakan begitu saja dengan kenaikan total tagihan. Pricing Anthropic memisahkan Base Input Tokens, Cache Writes, Cache Hits, dan Output Tokens; OpenAI dan Gemini juga memiliki dokumen pricing API masing-masing.[12][32][2] Jadi biaya akhir tetap bergantung pada output tokens, cache hit atau write, harga model, dan struktur request yang benar-benar dikirim.[12]

Kenapa teks yang sama bisa berubah jumlah tokennya?

Token bukan sekadar jumlah kata. Panduan tiktoken OpenAI menunjukkan bahwa teks perlu dihitung dengan encoding yang sesuai; dokumentasi Gemini juga menyatakan input dan output Gemini API ditokenisasi, termasuk teks dan gambar.[20][1]

Artinya, menghitung biaya hanya dari jumlah karakter, jumlah kata, atau rasio kasar paling jauh hanya cocok untuk estimasi awal. Untuk estimasi yang layak dipakai mengelola biaya, gunakan angka token yang dikembalikan oleh model atau tool resmi. Kasus Opus 4.7 versus Opus 4.6 memperlihatkan persis hal ini: endpoint count_tokens dapat memberi angka berbeda untuk konten yang sama ketika tokenizernya berubah.[34]

Cara membaca angka “hingga 35%”

Klaim yang sering munculCara baca yang lebih aman
Opus 4.7 membuat semua prompt 35% lebih mahalTerlalu menyederhanakan. Dokumen Anthropic menyebut sekitar 1–1,35 kali token dan bergantung pada konten.[34]
Input yang sama bisa dihitung menjadi lebih banyak tokenBenar. Anthropic menyatakan tokenizer baru Opus 4.7 dapat memakai lebih banyak token dan count_tokens akan berbeda dari Opus 4.6.[34]
Perubahan tokenizer hanya soal batas konteks, bukan biayaTidak lengkap. Pricing API memisahkan biaya input, output, cache, dan komponen token lain; perubahan token count bisa masuk ke perhitungan biaya.[12][32][2]
Cara terbaik adalah menguji dengan counter resmiBenar. OpenAI menyediakan panduan token counting dan tiktoken, Gemini menyediakan count_tokens, dan Anthropic merujuk /v1/messages/count_tokens untuk kasus Opus 4.7.[33][20][1][34]

Rumus sederhana untuk memperkirakan dampak biaya

Untuk bagian input saja, jika harga per input token tetap, gunakan rumus sederhana ini:

tambahan biaya input ≈ (token input baru − token input lama) × harga per input token

Tetapi jangan berhenti di sana. Tagihan riil masih bisa mencakup output tokens, cache writes, cache hits, dan komponen pricing lain. Anthropic memisahkan kolom-kolom itu dalam pricing; OpenAI dan Gemini juga menerbitkan pricing API resmi untuk dicek.[12][32][2]

Checklist sebelum memindahkan traffic ke model baru

1. Ambil payload lengkap, bukan hanya pesan pengguna

Yang dihitung bukan selalu teks yang terlihat di kotak chat. Aplikasi bisa mengirim system prompt, konteks panjang, data tool, file, gambar, atau riwayat percakapan. Gemini menyatakan semua input dan output ditokenisasi, dan panduan OpenAI juga mencontohkan penghitungan input token untuk teks serta gambar.[1][33]

2. Pakai token counter resmi untuk model tujuan

Untuk OpenAI, rujuk responses.input_tokens.count dan panduan tiktoken; untuk Gemini, gunakan count_tokens; untuk Anthropic, dokumen Opus 4.7 merujuk /v1/messages/count_tokens dan menyebut hasilnya berbeda dari Opus 4.6.[33][20][1][34]

3. Uji beberapa jenis konten nyata

Jangan hanya mencoba satu prompt pendek. Karena Anthropic menyebut kenaikan token Opus 4.7 bergantung pada konten, ambil sampel dari payload bertrafik tinggi, konteks panjang, request paling mahal, dan pola penggunaan yang paling sering muncul.[34]

4. Masukkan selisih token ke pricing resmi

Bandingkan token input lama dan baru, lalu kalikan dengan harga input model yang relevan. Setelah itu, baru tambahkan komponen output dan cache ke model biaya total. Pricing resmi Anthropic, OpenAI, dan Gemini adalah rujukan yang sebaiknya dipakai untuk tahap ini.[12][32][2]

5. Putuskan apakah perlu optimasi

Jika selisihnya kecil, mungkin cukup memperbarui anggaran dan monitoring. Jika payload bertrafik tinggi naik cukup besar, pertimbangkan kompresi prompt, memangkas konteks, memperbaiki strategi cache, atau menghitung ulang biaya per request. Intinya bukan panik pada angka 35%, melainkan mengukur dampak nyata dengan counter resmi dan pricing resmi.[12][34]

Intinya

Tokenizer baru memang bisa membuat prompt yang sama memakai lebih banyak token. Untuk Claude Opus 4.7, dokumen Anthropic menyatakan pemrosesan teks dapat memakai sekitar 1–1,35 kali token dibanding model sebelumnya, hingga sekitar 35% lebih banyak, tetapi efeknya bergantung pada konten.[34]

Pertanyaan pentingnya bukan apakah headline menyebut 35%, melainkan: berapa tambahan input token pada payload Anda, apakah perilaku output berubah, bagaimana cache dihitung, dan harga model apa yang berlaku. Jalankan token counter resmi, lalu masukkan hasilnya ke pricing resmi. Itulah cara paling andal untuk tahu apakah prompt Anda benar-benar menjadi lebih mahal.[33][1][34][12][32][2]

Studio Global AI

Search, cite, and publish your own answer

Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.

使用 Studio Global AI 搜尋並查核事實

重點

  • Bisa lebih mahal: Anthropic menyatakan tokenizer baru Claude Opus 4.7 dapat memakai sekitar 1–1,35 kali token saat memproses teks dibanding model sebelumnya, sampai sekitar 35% lebih banyak, bergantung pada konten.[34]
  • Namun 35% bukan kenaikan otomatis pada semua prompt atau total tagihan; tagihan juga dipengaruhi output token, cache writes/hits, dan harga model.[12][32][2]
  • Sebelum migrasi, uji payload lengkap dengan token counter resmi, lalu masukkan selisih token ke pricing resmi.[33][20][1][34]

人們還問

「Tokenizer baru Claude Opus 4.7: apa arti kenaikan token hingga 35%?」的簡短答案是什麼?

Bisa lebih mahal: Anthropic menyatakan tokenizer baru Claude Opus 4.7 dapat memakai sekitar 1–1,35 kali token saat memproses teks dibanding model sebelumnya, sampai sekitar 35% lebih banyak, bergantung pada konten.[34]

首先要驗證的關鍵點是什麼?

Bisa lebih mahal: Anthropic menyatakan tokenizer baru Claude Opus 4.7 dapat memakai sekitar 1–1,35 kali token saat memproses teks dibanding model sebelumnya, sampai sekitar 35% lebih banyak, bergantung pada konten.[34] Namun 35% bukan kenaikan otomatis pada semua prompt atau total tagihan; tagihan juga dipengaruhi output token, cache writes/hits, dan harga model.[12][32][2]

接下來在實務上我該做什麼?

Sebelum migrasi, uji payload lengkap dengan token counter resmi, lalu masukkan selisih token ke pricing resmi.[33][20][1][34]

接下來我應該探索哪個相關主題?

繼續“Claude Security 公測版:Anthropic 點樣用 AI 幫企業掃 code 漏洞”以獲得另一個角度和額外的引用。

開啟相關頁面

我應該將其與什麼進行比較?

對照「xAI Grok 4.3 API 解讀:1M context、低 token 價與語音平台野心」交叉檢查此答案。

開啟相關頁面

繼續你的研究

研究對話

研究問題

搜尋及事實查核:新 tokenizer 會唔會令同一份 prompt 用多咗 token、變相貴咗?

Studio Global AI40 來源

引用的答案

會,有可能;但唔係必然。最明確嘅官方例子係 Anthropic:Claude Opus 4.7 用咗新 tokenizer,官方寫明同一段固定文字可能會用大約 1x 至 1.35x token,即最多多約 35%,而且會因內容而異。[6]

  • 之所以會「變相貴咗」,係因為主流 API 都係按 token 計費。Anthropic 的定價頁面明確分開 Base Input Tokens 同 Output Tokens 收費;Google Gemini 文件亦寫明 API 成本部分取決於 input/output token 數;OpenAI 亦提供按 token 計價嘅 API pricing 頁面。[4][5][2]
  • 所以如果你講嘅「新 tokenizer」係同一供應商、同一價表之下換咗 tokenization 規則,而每個 input token 單價冇變,咁同一份 prompt 被切成更多 token,成本通常就會上升。[6][4][5]
  • 但唔可以一概而論成「新 tokenizer 一定更貴」。Anthropic 自己都寫明係 roughly 1x to 1.35x,而且「varying by content」,即係有啲內容增幅大,有啲細,亦未必所有模型都係加。[6]
  • 最穩陣做法係唔好靠估,直接用模型對應嘅 token counter 實測。OpenAI 有 input token counting 文件;Gemini 有 count_tokens;Anthropic 亦喺 Opus 4.7 文件直接指向 /v1/messages/count_tokens。[1][5][6]

如果你想,我可以下一步幫你做兩樣實用嘢:

  • 幫你查你關心嗰間供應商/模型(例如 GPT、Claude、Gemini)係咪最近換咗 tokenizer。
  • 幫你拎一段你實際用緊嘅 prompt,比較新舊模型大概會多幾多 token、貴幾多。

來源

  • [1] Understand and count tokens | Gemini API - Google AI for Developersai.google.dev

    All input to and output from the Gemini API is tokenized, including text, image. response, err := client.Models.GenerateContent(ctx, "gemini-3-flash-preview", contents, nil). print(client.models.count tokens(model="gemini-3-flash-preview", contents=history)...

  • [2] Gemini Developer API pricingai.google.dev

    English. Pricing. []( []( []( and audio. []( []( started. []( input. []( [](

  • [12] Pricing - Claude API Docsplatform.claude.com

    The "Base Input Tokens" column shows standard input pricing, "Cache Writes" and "Cache Hits" are specific to prompt caching, and "Output Tokens" shows output pricing. Prompt caching multipliers apply on top of fast mode pricing. Fast mode is not available w...

  • [20] How to count tokens with Tiktoken - OpenAI Developersdevelopers.openai.com

    Using o200k base encoding.") encoding = tiktoken.get encoding("o200k base") encoding = tiktoken.get encoding("o200k base") if model in { if model in { "gpt-3.5-turbo-0125", "gpt-3.5-turbo-0125", "gpt-4-0314", "gpt-4-0314", "gpt-4-32k-0314", "gpt-4-32k-0314"...

  • [32] Pricing | OpenAI APIdevelopers.openai.com

    gpt-5.4 $2.50 $0.25 $15.00 $5.00 $0.50 $22.50 . gpt-5.4 $1.25 $0.13 $7.50 $2.50 $0.25 $11.25 . gpt-5.4 $1.25 $0.13 $7.50 $2.50 $0.25 $11.25 . gpt-5.4 $5.00 $0.50 $30.00 - - - . Per-image output pricing for GPT Image and DALL·E models is listed in the Calcul...

  • [33] Counting tokens | OpenAI APIdevelopers.openai.com

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 from openai import OpenAI from openai import OpenAI client = OpenAI() Use file id from uploaded file, or image url for a URL Use file id from uploaded file, or image url for a URL response = client.responses.inpu...

  • [34] What's new in Claude Opus 4.7platform.claude.com

    Claude Opus 4.7 introduces task budgets. This new tokenizer may use roughly 1x to 1.35x as many tokens when processing text compared to previous models (up to 35% more, varying by content), and /v1/messages/count tokens will return a different number of tok...

Tokenizer baru Claude Opus 4.7: apa arti kenaikan token hingga 35%? | 回答 | Studio Global