MUST · 手搓你的 AI Agent · 組件 01

中文分詞與成本計量表

看清大型語言模型(large language model, LLM)如何把你的文字切成詞元(token),以及每一個詞元值多少錢。

貼上一段文字

模型並不是逐「字」閱讀,而是先把文字切成一段段的詞元(token),再按詞元數量收費。貼上任何文字,下方三個分詞器會即時重新計算。

0 個字元
快速範例

建議先按「中文段落」與「English paragraph」各看一次,再試「一份三頁報告」,留意詞元數如何隨文字長度與語言改變。

三個分詞器,三種切法

同一段文字,交給不同公司的分詞器(tokenizer),會切出不同數量的詞元。每一個色塊就是一個詞元;把滑鼠移到(或點選)色塊,可以看到它在詞表(vocabulary)中的編號。

計數不包含透過程式介面(API)呼叫時額外加入的少量格式詞元(例如標示「這一句是用戶說的」的標記),因此真實用量會略高於此處顯示。長文只繪出前 600 個詞元的色塊,但數字一律為全文精確值。

這段文字值多少錢?

當你透過程式介面(API)直接使用模型——這也是本課程之後建立個人 AI 助理的方式——服務商按「每百萬個詞元」收費。下方價格表是 2026-09 的公開價格(人民幣 ¥),可以直接修改試算。

目前文字的詞元數(DeepSeek)
 
作為輸入貼上一次
以 DeepSeek 直連閒時價計
¥10 可以貼上
以 DeepSeek 直連閒時價計
三個供應商的試算
供應商/模型 本段作為輸入 ¥10 可貼上 20 次/天 × 10 週
價格表(¥/每百萬詞元) 2026-09 價格,可自行修改
價格表(¥/每百萬詞元),可修改
供應商/模型 輸入 輸出 快取命中
「快取命中(cache hit)」是重複送出與上一次完全相同的前文時的折扣價,第 4 步的對話試算會用到它;DeepSeek 直連高峰時段(北京時間週一至五 09:00–12:00、14:00–18:00)價格為閒時的兩倍。

GPT-4o 以美元計價且不在本課程使用,故不列入價格表;其詞元數僅供比較切法。

對話越長,每一輪越貴

模型本身不會記住上一輪說過甚麼:聊天程式背後的 API 每一輪都要把整段對話歷史重新送給模型。以目前這段文字作為每一輪的訊息,看看詞元數如何累積。

每一輪送出的詞元數

累計送出的詞元數

重點一

中文比英文貴?

字元數計,中文每個字約需 0.7–1 個詞元,英文每個字元(連空格、標點)只約 0.2 個——同樣 100 個字元,中文貴三至五倍。

但一個中文字承載的意思比一個英文字母多得多。改為比較「同一句話」(下表),結果完全不同:

重點二

每次貼上都在花錢

重點三

對話越長,每一輪越貴

想一想

課堂討論用,每題兩分鐘。

  1. 同一個意思,中文、英文與程式碼切出的詞元數為何不同?如果你要向一個只按詞元收費的服務提問,你會怎樣改寫你的問題?
  2. 聊天程式背後的 API 每一輪都重新送出整段歷史。假如你要與 AI 一起討論一份三頁報告,聊足一個小時,錢主要花在哪一部分?你會怎樣安排這一小時,令花費最少而又不失去上下文?
教師提示(討論後再展開)

第 2 題可引導的方向:錢主要花在一再重新送出的歷史,而不是新的一句;可以先請模型摘要前文再開新對話、只送報告中相關的段落、把「討論」與「查閱」分開,以及善用供應商的快取命中價。