studioglobal
ค้นพบเทรนด์
คำตอบเผยแพร่แล้ว7 แหล่งที่มา

Claude Opus 4.7 กับ tokenizer ใหม่: พรอมป์ต์จะใช้ token มากขึ้นและแพงขึ้นจริงหรือไม่

มีโอกาสแพงขึ้น: Anthropic ระบุว่า tokenizer ใหม่ของ Claude Opus 4.7 อาจใช้ token ราว 1x–1.35x เมื่อประมวลผลข้อความ เทียบกับโมเดลก่อนหน้า หรือสูงสุดประมาณ 35% แต่ขึ้นกับเนื้อหา ไม่ใช่ทุกพรอมป์ต์จะเพิ่มเท่ากัน [34] ถ้าราคา input token ต่อหน่วยไม่เปลี่ยน พรอมป์ต์เดิมที่ถูกนับเป็น input tokens มากขึ้นย่อมทำให้ต้นทุนฝั่ง...

17K0
抽象 AI token 計算圖示,說明 Claude Opus 4.7 新 tokenizer 可能令 prompt token 數上升
新 tokenizer 會令 prompt 更貴嗎?Claude Opus 4.7 的 35% token 警示AI 生成的編輯圖片:tokenizer 變動可能改變同一 prompt 的 token count。
AI พรอมต์

Create a landscape editorial hero image for this Studio Global article: 新 tokenizer 會令 prompt 更貴嗎?Claude Opus 4.7 的 35% token 警示. Article summary: 會,有可能:Claude Opus 4.7 官方文件指新 tokenizer 處理文字可能使用舊模型約 1x–1.35x tokens,最多約多 35%;但增幅視內容而定,唔等於所有 prompt 或總帳單都加 35%。[34]. Topic tags: ai, llm, claude, anthropic, tokenization. Reference image context from search candidates: Reference image 1: visual subject "Anthropic 甚至為了新版Tokenizer 增加了全體訂閱者的速率限制,因為在處理相同輸入時,新架構會多消耗高達35% 的Token。 「Claude Opus 4.7 拒絕填補指令的" source context "你的 AI 提示詞為何失靈?揭開 GPT-5.5 與 Claude 4.7 慘痛進化的真相 - YOLO LAB|解構科技邊際與媒體娛樂的數據實驗室" Reference image 2: visual subject "* I Measured Claude 4.7's New Tokenizer. Here's What It Costs You. The docs said 1.0–1.35x more tokens. On real content, I measured 1.47x. Anthropic's Claude Opus 4.7 migration gui" source context "I Measured Claude 4.7's New Tokenizer. Here's What It Costs You." Style: prem

openai.com

เวลาประเมินต้นทุนหลังอัปเกรดโมเดล อย่าดูแค่ราคาต่อ 1 ล้าน token แล้วสรุปทันทีว่าแพงหรือถูกกว่าเดิม เพราะจำนวน token เองก็อาจเปลี่ยนได้ Tokenizer คือกติกาที่แบ่งข้อความให้เป็น token ก่อนส่งเข้าโมเดล และ token count เป็นหน่วยสำคัญที่เอกสาร pricing ของผู้ให้บริการ LLM API หลายรายใช้คำนวณต้นทุน [20][12][32][2]

กรณีของ Claude Opus 4.7 เป็นตัวอย่างที่ชัดเจนมาก เอกสารของ Anthropic ระบุว่า tokenizer ใหม่อาจใช้ token ราว 1x ถึง 1.35x เมื่อประมวลผลข้อความ เทียบกับโมเดลก่อนหน้า หรือมากขึ้นได้ถึงประมาณ 35% โดยขึ้นกับเนื้อหา และถ้าใช้ /v1/messages/count_tokens กับ input เดียวกัน จำนวน token ของ Claude Opus 4.7 จะต่างจาก Claude Opus 4.6 [34]

สรุปก่อน: มีโอกาสแพงขึ้น แต่ไม่ใช่เพิ่ม 35% ทุกกรณี

คำตอบที่รัดกุมที่สุดคือ tokenizer ใหม่สามารถทำให้พรอมป์ต์เดิมมี input tokens มากขึ้นได้ และถ้าราคา input token ต่อหน่วยเท่าเดิม ต้นทุนฝั่ง input ก็มีโอกาสสูงขึ้นตาม แต่ตัวเลขจาก Anthropic คือช่วงประมาณ 1x–1.35x และระบุชัดว่าแตกต่างตามเนื้อหา จึงไม่ควรแปลว่า “ทุกพรอมป์ต์จะแพงขึ้น 35%” [34]

อีกจุดที่ต้องระวังคือ จำนวน token ที่เพิ่มขึ้นไม่เท่ากับบิลรวมเพิ่มขึ้นเท่ากันเสมอไป เอกสาร pricing ของ Anthropic แยก

Base Input Tokens
,
Cache Writes
,
Cache Hits
และ
Output Tokens
ออกจากกัน ขณะที่ OpenAI และ Gemini ก็มีเอกสารราคา API ของตัวเอง [12][32][2] ดังนั้น input token ที่มากขึ้นจะกระทบต้นทุนฝั่ง input แต่ต้นทุนสุดท้ายยังขึ้นกับ output tokens, การใช้ cache, รุ่นโมเดล และรูปแบบ request จริง [12]

ทำไมข้อความเดิมถึงกลายเป็น token คนละจำนวนได้

Token ไม่ใช่จำนวนคำ และไม่ใช่จำนวนตัวอักษรแบบตรงไปตรงมา OpenAI มีคู่มือ tiktoken ที่แสดงว่าต้องใช้ encoding ที่เหมาะกับโมเดลเพื่อคำนวณว่าข้อความหนึ่งจะถูกแบ่งเป็นกี่ token ส่วนเอกสาร Gemini ระบุว่า input และ output ของ Gemini API จะถูก tokenize รวมถึงข้อความและรูปภาพ [20][1]

เพราะฉะนั้น การกะต้นทุนจากจำนวนคำ จำนวนตัวอักษร หรืออัตราส่วนคร่าว ๆ ใช้ได้แค่สำหรับประมาณงบเบื้องต้นเท่านั้น ถ้าต้องการตัวเลขที่ใช้ตัดสินใจจริง ควรนับ token ด้วยเครื่องมือของโมเดลเป้าหมายโดยตรง กรณี Claude Opus 4.7 กับ Opus 4.6 ที่ count_tokens ให้ตัวเลขต่างกัน สะท้อนชัดว่าเมื่อ tokenizer เปลี่ยน เนื้อหาเดิมก็อาจถูกนับไม่เท่าเดิม [34]

ตัวเลข 35% ควรอ่านอย่างไร

คำพูดที่มักได้ยินวิธีอ่านที่แม่นกว่า
Claude Opus 4.7 ทำให้พรอมป์ต์แพงขึ้น 35% ทุกครั้งสรุปเกินไป เอกสารทางการพูดถึง token ราว 1x–1.35x และขึ้นกับเนื้อหา [34]
ข้อความเดิมอาจถูกนับเป็น token มากขึ้นถูกต้อง Anthropic ระบุว่า tokenizer ใหม่ของ Opus 4.7 อาจใช้ token มากขึ้น และ token count จะต่างจาก Opus 4.6 [34]
tokenizer กระทบแค่ context limit ไม่เกี่ยวกับต้นทุนไม่ครบถ้วน เพราะ API pricing คิดตามช่องทางการใช้ token เช่น input, output และ cache การนับ token ที่เปลี่ยนจึงกระทบต้นทุนได้ [12][32][2]
ทางที่ดีที่สุดคือทดสอบด้วย counter ทางการถูกต้อง OpenAI มีเอกสาร input token counting และ tiktoken, Gemini มี count_tokens, Anthropic ก็ระบุการใช้ /v1/messages/count_tokens ในบริบทของ Opus 4.7 [33][20][1][34]

จะประเมินต้นทุนอย่างไร

ถ้าดูเฉพาะ input tokens และสมมติว่าราคา input token ต่อหน่วยไม่เปลี่ยน สามารถคิดแบบง่าย ๆ ได้ว่า

ต้นทุน input ที่เพิ่มขึ้นโดยประมาณ ≈ (input tokens จาก tokenizer ใหม่ − input tokens จาก tokenizer เดิม) × ราคา input-token ต่อหน่วย

แต่สูตรนี้ประเมินเฉพาะฝั่ง input เท่านั้น บิลจริงอาจมี output tokens, cache writes, cache hits หรือรายการราคาอื่น ๆ ตามผลิตภัณฑ์ที่ใช้ เอกสาร Anthropic แยกหมวดเหล่านี้ไว้ชัดเจน และ OpenAI กับ Gemini ก็มี pricing page ของตนเองให้เทียบ [12][32][2]

เช็กลิสต์ก่อนย้ายไปใช้โมเดลใหม่

1. ดึง payload จริงทั้งชุด ไม่ใช่แค่ user message

สิ่งที่ส่งเข้าโมเดลจริงอาจมี system prompt, context ยาว ๆ, ข้อมูลจาก tools, ไฟล์, รูปภาพ หรือ input อื่น ๆ รวมอยู่ด้วย เอกสาร Gemini ระบุว่า input และ output ทั้งหมดถูก tokenize และคู่มือ token counting ของ OpenAI ก็มีตัวอย่างการนับ input ที่มีทั้งข้อความและรูปภาพ [1][33]

2. ใช้ token counter ทางการของโมเดลเป้าหมาย

OpenAI มีเอกสาร responses.input_tokens.count และคู่มือ tiktoken, Gemini มี count_tokens, ส่วน Anthropic ระบุว่า /v1/messages/count_tokens จะให้จำนวน token ของ Claude Opus 4.7 ต่างจาก Opus 4.6 [33][20][1][34]

3. สุ่มตัวอย่างตามประเภทงานจริง

อย่าทดสอบแค่พรอมป์ต์สั้น ๆ เพียงรายการเดียว เพราะ Anthropic ระบุว่าการเพิ่มขึ้นของ token ใน Opus 4.7 แตกต่างตามเนื้อหา ควรเลือก payload ที่มีทราฟฟิกสูง, context ยาว, ต้นทุนสูง หรือเป็นกรณีใช้งานที่พบบ่อยที่สุดมาวัดเทียบ [34]

4. นำ token delta ไปคำนวณกับ pricing ทางการ

เริ่มจากเปรียบเทียบ input token count ของโมเดลเดิมกับโมเดลใหม่ จากนั้นค่อยใช้ราคาอย่างเป็นทางการของโมเดลนั้น ๆ คำนวณส่วนต่าง แล้วจึงเติม output, cache และช่องทางต้นทุนอื่นกลับเข้าไปในแบบจำลองต้นทุนรวม เอกสาร pricing ของ Anthropic, OpenAI และ Gemini เป็นแหล่งอ้างอิงหลักสำหรับขั้นตอนนี้ [12][32][2]

5. ใช้ผลลัพธ์ตัดสินใจว่าจะต้องปรับ prompt หรือไม่

ถ้า token delta เล็กมาก อาจแค่อัปเดตงบประมาณและ monitoring ก็พอ แต่ถ้า payload ที่มีปริมาณใช้งานสูงแพงขึ้นชัดเจน ควรพิจารณาย่อ prompt, ลด context ที่ไม่จำเป็น, ปรับกลยุทธ์ cache หรือคำนวณต้นทุนต่อ request ใหม่ ประเด็นสำคัญไม่ใช่เห็นตัวเลข 35% แล้วตื่นตระหนก แต่คือการวัดผลด้วย counter ทางการและ pricing ทางการ [12][34]

บรรทัดสุดท้าย

Tokenizer ใหม่สามารถทำให้พรอมป์ต์เดิมใช้ token มากขึ้นได้จริง ในกรณี Claude Opus 4.7 เอกสารทางการระบุว่าเมื่อประมวลผลข้อความ อาจใช้ token ราว 1x–1.35x เทียบกับโมเดลก่อนหน้า หรือสูงสุดประมาณ 35% แต่การเพิ่มขึ้นขึ้นกับเนื้อหา [34]

ดังนั้นคำถามที่ควรถามไม่ใช่แค่ว่า “35% จริงไหม” แต่คือ payload จริงของคุณถูกนับเป็น input tokens เพิ่มขึ้นเท่าไร, output behavior เปลี่ยนหรือไม่, cache ถูกคิดราคาอย่างไร และ pricing ของผู้ให้บริการนำไปใช้กับกรณีของคุณแบบไหน วิธีที่น่าเชื่อถือที่สุดคือรัน token counter ทางการก่อนอัปเกรด แล้วนำผลไปคำนวณกับ pricing ทางการ [33][1][34][12][32][2]

Studio Global AI

Search, cite, and publish your own answer

Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.

ค้นหาและตรวจสอบข้อเท็จจริงด้วย Studio Global AI

ประเด็นสำคัญ

  • มีโอกาสแพงขึ้น: Anthropic ระบุว่า tokenizer ใหม่ของ Claude Opus 4.7 อาจใช้ token ราว 1x–1.35x เมื่อประมวลผลข้อความ เทียบกับโมเดลก่อนหน้า หรือสูงสุดประมาณ 35% แต่ขึ้นกับเนื้อหา ไม่ใช่ทุกพรอมป์ต์จะเพิ่มเท่ากัน [34]
  • ถ้าราคา input token ต่อหน่วยไม่เปลี่ยน พรอมป์ต์เดิมที่ถูกนับเป็น input tokens มากขึ้นย่อมทำให้ต้นทุนฝั่ง input สูงขึ้นได้ แต่บิลรวมยังขึ้นกับ output, cache และโครงสร้างคำขอด้วย [12][32][2]
  • ก่อนอัปเกรดโมเดล ควรทดสอบกับ payload จริงทั้งชุด ใช้ token counter ทางการของผู้ให้บริการ แล้วค่อยนำตัวเลขไปคำนวณกับ pricing ทางการ [33][1][34]

คนยังถาม

คำตอบสั้น ๆ สำหรับ "Claude Opus 4.7 กับ tokenizer ใหม่: พรอมป์ต์จะใช้ token มากขึ้นและแพงขึ้นจริงหรือไม่" คืออะไร

มีโอกาสแพงขึ้น: Anthropic ระบุว่า tokenizer ใหม่ของ Claude Opus 4.7 อาจใช้ token ราว 1x–1.35x เมื่อประมวลผลข้อความ เทียบกับโมเดลก่อนหน้า หรือสูงสุดประมาณ 35% แต่ขึ้นกับเนื้อหา ไม่ใช่ทุกพรอมป์ต์จะเพิ่มเท่ากัน [34]

ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?

มีโอกาสแพงขึ้น: Anthropic ระบุว่า tokenizer ใหม่ของ Claude Opus 4.7 อาจใช้ token ราว 1x–1.35x เมื่อประมวลผลข้อความ เทียบกับโมเดลก่อนหน้า หรือสูงสุดประมาณ 35% แต่ขึ้นกับเนื้อหา ไม่ใช่ทุกพรอมป์ต์จะเพิ่มเท่ากัน [34] ถ้าราคา input token ต่อหน่วยไม่เปลี่ยน พรอมป์ต์เดิมที่ถูกนับเป็น input tokens มากขึ้นย่อมทำให้ต้นทุนฝั่ง input สูงขึ้นได้ แต่บิลรวมยังขึ้นกับ output, cache และโครงสร้างคำขอด้วย [12][32][2]

ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?

ก่อนอัปเกรดโมเดล ควรทดสอบกับ payload จริงทั้งชุด ใช้ token counter ทางการของผู้ให้บริการ แล้วค่อยนำตัวเลขไปคำนวณกับ pricing ทางการ [33][1][34]

ฉันควรสำรวจหัวข้อที่เกี่ยวข้องใดต่อไป

ดำเนินการต่อด้วย "Claude Security รุ่นเบต้า: Anthropic ใช้ AI สแกนช่องโหว่โค้ดองค์กรอย่างไร" เพื่อดูอีกมุมหนึ่งและการอ้างอิงเพิ่มเติม

เปิดหน้าที่เกี่ยวข้อง

ฉันควรเปรียบเทียบสิ่งนี้กับอะไร?

ตรวจสอบคำตอบนี้กับ "Grok 4.3 API ของ xAI: 1M context ราคาต่ำ และเกมรุกสู่แพลตฟอร์มเสียง"

เปิดหน้าที่เกี่ยวข้อง

ทำการวิจัยต่อ

การสนทนาการวิจัย

คุณ

คำถามวิจัย

搜尋及事實查核:新 tokenizer 會唔會令同一份 prompt 用多咗 token、變相貴咗?

Studio Global AI40 แหล่งที่มา

อ้างถึงคำตอบ

會,有可能;但唔係必然。最明確嘅官方例子係 Anthropic:Claude Opus 4.7 用咗新 tokenizer,官方寫明同一段固定文字可能會用大約 1x 至 1.35x token,即最多多約 35%,而且會因內容而異。[6]

  • 之所以會「變相貴咗」,係因為主流 API 都係按 token 計費。Anthropic 的定價頁面明確分開 Base Input Tokens 同 Output Tokens 收費;Google Gemini 文件亦寫明 API 成本部分取決於 input/output token 數;OpenAI 亦提供按 token 計價嘅 API pricing 頁面。[4][5][2]
  • 所以如果你講嘅「新 tokenizer」係同一供應商、同一價表之下換咗 tokenization 規則,而每個 input token 單價冇變,咁同一份 prompt 被切成更多 token,成本通常就會上升。[6][4][5]
  • 但唔可以一概而論成「新 tokenizer 一定更貴」。Anthropic 自己都寫明係 roughly 1x to 1.35x,而且「varying by content」,即係有啲內容增幅大,有啲細,亦未必所有模型都係加。[6]
  • 最穩陣做法係唔好靠估,直接用模型對應嘅 token counter 實測。OpenAI 有 input token counting 文件;Gemini 有 count_tokens;Anthropic 亦喺 Opus 4.7 文件直接指向 /v1/messages/count_tokens。[1][5][6]

如果你想,我可以下一步幫你做兩樣實用嘢:

  • 幫你查你關心嗰間供應商/模型(例如 GPT、Claude、Gemini)係咪最近換咗 tokenizer。
  • 幫你拎一段你實際用緊嘅 prompt,比較新舊模型大概會多幾多 token、貴幾多。

แหล่งที่มา

  • [1] Understand and count tokens | Gemini API - Google AI for Developersai.google.dev

    All input to and output from the Gemini API is tokenized, including text, image. response, err := client.Models.GenerateContent(ctx, "gemini-3-flash-preview", contents, nil). print(client.models.count tokens(model="gemini-3-flash-preview", contents=history)...

  • [2] Gemini Developer API pricingai.google.dev

    English. Pricing. []( []( []( and audio. []( []( started. []( input. []( [](

  • [12] Pricing - Claude API Docsplatform.claude.com

    The "Base Input Tokens" column shows standard input pricing, "Cache Writes" and "Cache Hits" are specific to prompt caching, and "Output Tokens" shows output pricing. Prompt caching multipliers apply on top of fast mode pricing. Fast mode is not available w...

  • [20] How to count tokens with Tiktoken - OpenAI Developersdevelopers.openai.com

    Using o200k base encoding.") encoding = tiktoken.get encoding("o200k base") encoding = tiktoken.get encoding("o200k base") if model in { if model in { "gpt-3.5-turbo-0125", "gpt-3.5-turbo-0125", "gpt-4-0314", "gpt-4-0314", "gpt-4-32k-0314", "gpt-4-32k-0314"...

  • [32] Pricing | OpenAI APIdevelopers.openai.com

    gpt-5.4 $2.50 $0.25 $15.00 $5.00 $0.50 $22.50 . gpt-5.4 $1.25 $0.13 $7.50 $2.50 $0.25 $11.25 . gpt-5.4 $1.25 $0.13 $7.50 $2.50 $0.25 $11.25 . gpt-5.4 $5.00 $0.50 $30.00 - - - . Per-image output pricing for GPT Image and DALL·E models is listed in the Calcul...

  • [33] Counting tokens | OpenAI APIdevelopers.openai.com

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 from openai import OpenAI from openai import OpenAI client = OpenAI() Use file id from uploaded file, or image url for a URL Use file id from uploaded file, or image url for a URL response = client.responses.inpu...

  • [34] What's new in Claude Opus 4.7platform.claude.com

    Claude Opus 4.7 introduces task budgets. This new tokenizer may use roughly 1x to 1.35x as many tokens when processing text compared to previous models (up to 35% more, varying by content), and /v1/messages/count tokens will return a different number of tok...