几年前在一次工作中，第一次接触到自然语言处理模型 BERT。

当时在评估这个模型的性能时，领导说这个模型的性能需要达到了 200 token 每秒，虽然知道这是一个性能指标，但是对 token 这个概念却不是很清晰。

因为当时接触视觉模型多一些，在视觉模型的性能评估中，有一个关键指标叫做 fps，通俗理解就是一秒钟可以处理的图片数。

fps 数值越大，说明模型吞吐性能越好(关于吞吐的概念可以查看：[再也不怕被问吞吐和延时的区别了]。

那么 token 每秒又是什么呢？要搞清楚这个，就得先来了解一下什么是 token。

1、什么是token

在计算机领域中，token 通常是指一串字符或符号，比如微信公众平台的密钥，就被称作一个 token，其实就是一长串的字符。

而在人工智能领域，尤其是自然语言处理(Natural Language Processing, NLP)中， “token” 指的是处理文本的最小单元或基本元素。

它可以是一个单词、一个词组、一个标点符号、一个子词或者一个字符。

目前很多大模型无论展示能力，还是收费定价，都是以 token 为单位，如 OpenAI 的收费标准为：GPT-4，1k 个 token 收费 0.01刀。

那么如何理解 token 呢？

假设要让一个 AI 模型识别下面的一句话：“I love natural language processing!” 。

模型并不是直接认识这句话是什么意思，而是需要先将这句话拆解成一个个的 token 序列。

比如这个句子可以分解成以下的 tokens：

• “I”
• “love”
• “natural”
• “language”
• “processing”
• “!”

最后的标点符号同样是一个 token，这样模型看到的就是基本的 token 单元，这样有助于 AI 模型理解这个句子的结构和含义。

2、如何拆分 token 呢？

在 NLP 任务中，处理文本之前，需要先将文本进行 tokenization，也就是将文本 token 化，然后再对这些 tokens 进行操作。

目前有很多算法可以完成这个 tokenization 的过程，这里先不展开。

看到这里你可能会问，一个 token不就是一个单词吗？

其实不是这样的，就像我们上面说的，一个 token 可以是一个单词，也可以是一个词组或者一些子词。

比如在 tokenization 阶段，可能会把 “New York City” 这三个单词当做一个 token，因为这三个单词合在一起具有特定的意思，叫做纽约市。

还可能把 “debug” 这个单词看作两个 token，分别为"de" 和 “bug”，这样模型可能知道 “de” 前缀代表“减少”的意思。

如果再遇到诸如 “devalue ”时，就会把它直接分为两个token，分别是 “de”和 “value”，并且可以知道 devalue 代表"减少价值"的意思。

这样的 token 就属于单词中的子词，这样做有很多好处，其中一个好处便是模型不需要记住太多的词。

(photo by AI)

否则，模型可能需要记住"bug"、“debug”，“value”，"devalue"四个token.

而一旦将词分成子词，模型只需要记住"bug"、“value” 和 “de” 这三个 token 即可，而且还可以扩展识别出 "decrease "的意思。

看到这理解了吧，一个 token 可能会代表是一个单词，也可能会是一个词组，或者字符和标点符号。

3、一个有趣的测试

其实有个很简单的方法可以测试一下模型在处理文本时，是否是按照 token 为最小单位来处理的。

我们利用一个大模型，比如 chatGPT 3.5，让他来对一小段文本进行反转操作。

可以看到，句子中的“一个”反转之后仍然是“一个”，而不是"个一"。

这可能就是因为在模型处理时，“一个” 被当做了一个 token 来对待，而这又是一个基本单元，无法再进一步拆分完成反转。

而如果使用 GPT-4 来进行同样的实验，可以看到它已经把这个问题修复了，这是因为 GPT-4 中大幅更新了逻辑推理能力，在更复杂的场景下它甚至会自己边写代码来完成复杂的逻辑的推理。

如果你有chatGPT 的使用环境，可以测试一下看看它是否可以将句子反转过来。

总的来说，token 可以理解为自然语言模型处理文本的最小单位。

它不一定是一个单词，可能是一个词组，也可能是一些前缀如“de”，也可能是一些标点(比如感叹号可能代表更加强烈的感情)等。

知道了 token 是什么，那么 token / s 的意思就很简单了，这个单位就代表了模型一秒钟可以处理的 token 的个数。

这个数字越大，说明模型处理文本的速度更快，无论是识别文本，还是输出文本，用户用起来，也就更加流畅。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓