下面按「在线工具 → 本地库 / 代码 → 平台内置」三类,给你一批好用、稳定、覆盖主流模型的 Token 计算工具,附特点与适用场景,直接可用。
一、在线工具(零安装、即用即走,推荐新手)
1. OpenAI 官方 Tokenizer(最权威,GPT 全系)
- 链接:https://platform.openai.com/tokenizer
- 特点:
- 官方标准,和 GPT-3.5/4 计费完全一致
- 实时显示分词、Token 数、字符数
- 支持中英文、代码、特殊符号
- 适用:核对 GPT 类计费、调试 Prompt
2. TikTokenizer(多模型对比,可视化强)
- 链接:https://tiktokenizer.vercel.app/
- 特点:
- 一键切换 GPT-4/3.5、Claude、Llama、Mistral
- 左右对比不同模型分词差异
- 高亮显示每个 Token 对应文本
- 适用:跨模型迁移、优化 Prompt 长度
3. 302.AI Token 计算器(含费用预估,100 + 模型)
- 链接:https://302.ai/token/
- 特点:
- 支持 GPT、Claude、Gemini、国内主流模型
- 自动按最新价格算输入 / 输出费用
- 免费、无需注册、支持多货币
- 适用:成本预估、预算规划、模型选型
4. AnyFreeTools Token 计数器(简洁隐私,本地计算)
- 链接:AnyFreeTools - 免费在线工具箱
- 特点:
- 浏览器本地计算,文本不上传,适合敏感内容
- 支持 GPT-4、Claude、Llama 等
- 实时计数、无广告、界面干净
- 适用:处理私密 Prompt、快速统计
5. ToolAI.fun(开源模型专用)
- 链接:https://toolai.fun/
- 特点:
- 专注 Llama 2、Mistral、Falcon 等开源模型
- 直接选模型,输入文本出结果
- 适用:本地部署开源模型时统计 Token
二、本地库 / 代码工具(精准、可批量、开发必用)
1. tiktoken(OpenAI 官方 Python 库,GPT 标准)
- 安装:
bash
运行
pip install tiktoken - 代码示例:
python
运行
import tiktoken enc = tiktoken.get_encoding("cl100k_base") # GPT-3.5/4 text = "今天撸串,快乐加倍" print(len(enc.encode(text))) # 精确 Token 数 - 特点:速度快、精度最高、可批量处理
2. Hugging Face Tokenizers(全模型兼容)
- 安装:
bash
运行
pip install transformers - 代码示例:
python
运行
from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf") print(len(tokenizer.encode("Hello, world!"))) - 特点:支持 LLaMA、Mistral、通义、文心等几乎所有模型
3. go-tiktoken(Go 语言版,高性能服务端)
- 链接:https://github.com/pkoukk/tiktoken-go
- 特点:兼容 tiktoken 逻辑,适合 Go 开发的 API 服务
三、国内大模型平台内置工具(官方计费口径)
- 百度文心一言:服务与支持
- 阿里通义千问:阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台
- 字节豆包:开放平台 → 工具 → Token 计算器
- 讯飞星火:控制台 → 调用量 → Token 检测
四、工具选型速查表
表格
工具 最佳场景 模型支持 精度 OpenAI Tokenizer GPT 计费核对 GPT-3.5/4 ★★★★★ TikTokenizer 多模型对比 GPT/Claude/Llama ★★★★☆ 302.AI 费用预估 100+ 主流模型 ★★★★ tiktoken 批量 / 开发 GPT 全系 ★★★★★ Hugging Face 开源模型 LLaMA/Mistral/ 国内 ★★★★