聊聊ChatGPT背后的技术秘密，怎么一步步拆解它的核心原理和运作机制

聊聊ChatGPT背后的技术秘密,怎么一步步拆解它的核心核心原理和运作机制

要理解ChatGPT,我们不能把它看作一个魔法黑箱，而应该像剥洋葱一样，一层层地拆解它，这个过程可以大致分为三步：打下基础、学会思考、对齐人类。

第一步：打下基础——建造一个“超级语言完形填空专家”

ChatGPT的根基是一个叫做“Transformer”的模型架构（来源：谷歌2017年发表的论文《Attention Is All You Need》），这个架构的核心是一种叫做“自注意力机制”的技术，我们可以用一个简单的比喻来理解它：当你看一句话的时候，苹果很好吃，但我更喜欢香蕉”，你的眼睛不会平均看待每个字，你会瞬间抓住“苹果”和“香蕉”是水果，它们在比较，而“但”字表示转折，自注意力机制让计算机也能做到这一点，它能分析一句话里每个词和其他所有词之间的关系，从而真正理解上下文。

有了这个强大的“大脑结构”后，就需要用海量的知识来填充它，这个过程叫做“预训练”，研究人员给这个模型喂食了互联网上数以亿计的网页、书籍、文章等文本数据（来源：OpenAI的技术文档对训练数据的描述），训练的目标非常巧妙：让模型学会玩一个超级复杂的“完形填空”，就是随机遮住一句话里的某个词，然后让模型根据上下文去预测这个词最可能是什么，输入“今天天气真好，阳光____”，模型需要学习去预测“明媚”、“灿烂”等词。

通过无数次这样的练习,模型不仅仅是在背单词，它实际上是在无意识地学习语法、事实逻辑、甚至是一些简单的推理模式，它逐渐在内部构建起一个复杂的“概率地图”，知道在什么样的语言环境下，下一个词出现什么的可能性最大，这时，它已经成了一个强大的“续写机器”，你给它一个开头，它能不停地写下去，但这时候的它还很“原始”，可能会生成不通顺、不合逻辑甚至有害的内容，因为它只是模仿它从网上学到的所有东西，没有好坏对错之分。

第二步：学会思考——从“续写”到“对话”

原始的预训练模型并不懂得对话,它只会完成文本，如何让它变成能聊天的ChatGPT呢？这就要靠关键的一步：“监督微调”。

需要教会它对话的格式,OpenAI雇佣了人类标注员，模拟用户和AI助手之间的对话（来源：OpenAI关于InstructGPT的论文，ChatGPT的前身），标注员既扮演用户提问，也扮演AI给出高质量的回答，用户问：“解释一下什么是光合作用？” AI回答：“光合作用是植物利用光能……的过程。” 然后用大量这样的“问答范例”去微调第一步得到的预训练模型。

这个过程的目的是告诉模型：“你现在不是一个随便的续写工具了，你的新任务是扮演一个乐于助人、准确无害的AI助手，当用户输入一段话时，你要把它理解为一个问题或指令，并生成一个恰当的回复。” 经过这番调教，模型开始有了“对话”的意识，回答的质量和相关性也提高了。

第三步：对齐人类——让AI符合我们的价值观

即使经过了第二步,模型可能还是不够“听话”或“安全”，它有时会胡说八道，或者生成有偏见、有害的回答，最精妙的一步来了：“基于人类反馈的强化学习”，这个方法的核心是，让人类来当老师，给AI的回答打分，从而引导它朝着我们期望的方向进化。

具体操作是这样的（来源：OpenAI关于InstructGPT的论文）：

1. 对于一个给定的问题,让微调后的模型生成多个不同的答案。
2. 人类标注员会看到这些答案,并对它们进行排序，指出哪个答案最好，哪个次之，哪个最差，这相当于给答案打了相对分数。
3. 这些排序数据被用来训练一个“奖励模型”，这个奖励模型的任务就是学习人类的偏好，它自己学会判断什么样的回答能得高分。
4. 把最初的对话模型和一个奖励模型放在一起,进行强化学习训练，你可以把这想象成一种“考试循环”：对话模型不断生成回答，奖励模型根据人类教给它的标准进行打分，如果回答好，就“奖励”对话模型，鼓励它以后多这么回答；如果回答差，就“惩罚”它，通过成千上万轮的这种互动，对话模型被逐渐“调教”得越来越符合人类的价值观——更加 helpful（有帮助）、honest（诚实）、harmless（无害）。

ChatGPT的运作机制就是这三步的结合：预训练赋予了它语言知识和续写能力，监督微调教会它对话的形式和初步指令遵循，而基于人类反馈的强化学习则精细地打磨它的行为，使其成为一个有用且安全的助手。 当你向ChatGPT提问时，它正是在这个经过千锤百炼的“概率地图”上，快速计算并生成那条最可能让你满意、同时也最符合它所学到的人类偏好的回答路径，它不是真的在思考，而是在进行一场极其复杂的、基于概率的模式匹配和生成。