让直觉赶上时代

什么是 LLM

LLM（Large Language Model，大语言模型）是 ChatGPT、Claude、DeepSeek 等产品背后的核心技术。它本质上是一个被喂了海量文字训练出来的“超级文字接龙机器”，你给它一句话的开头，它就能根据学到的规律把后面的内容续写出来。

你和 AI 的每一次对话、后面章节里 Agent 干的每一件活，背后都是这台接龙机器在工作。这一章分三步展开，先看它的内部构造（Transformer），再看它怎么被训练出来（第 2 节），最后看它的性格与短板（第 3 节）。

内部构造：GPT 的 T，就是 Transformer

刚才说 LLM 是“超级文字接龙机器”，那么这台接龙机器的内部构造长什么样？

答案是一个词，Transformer（变换器）。

2017 年，Google 的几位研究员发表了一篇论文，标题本身就是宣言：《Attention Is All You Need》（注意力就是你的全部所需）。论文里提出的这个新架构就是 Transformer，当时没几个人意识到，它会成为之后整个 AI 时代的地基。

今天你听到的所有大模型，ChatGPT、Claude、Gemini、DeepSeek，全部是 Transformer 架构的变体。GPT 的全称是 Generative Pre-trained Transformer（生成式预训练变换器），那个 T 就是它。模型千千万，底座只有一个。

Transformer 的灵魂：注意力机制“哪个词该看哪个词”

Transformer 的核心就是论文标题里那个词，注意力（Attention）。

先看一句话：

“李雷把苹果递给韩梅梅，因为她饿了。”

问：“她”是谁？你不假思索就知道是韩梅梅。你的大脑在读到“她”的瞬间自动回头扫了一遍前文，把“她”和“韩梅梅”连了起来，而不会连到“李雷”或“苹果”上去。

注意力机制做的就是这件事。处理每一个词的时候，让这个词“环顾四周”，给句子里所有其他词打一个相关度分数，“她”和“韩梅梅”高度相关，得高分，和“苹果”基本无关，得低分。理解一个词的含义时，主要参考高分的那些词。

为什么是 Transformer 引爆了 AI一个工程上的关键优势

在 Transformer 之前，主流方法（RNN，循环神经网络）读句子像人朗读，必须从左到右一个词一个词来，读完第 3 个词才能读第 4 个。句子一长就容易忘了开头，更要命的是没法并行，再多计算芯片也使不上劲。

Transformer 的会议室模式完全不同，所有词同时互相打分，一步到位，计算因此可以拆成海量小任务同时进行，而“同时做海量小计算”恰好是 GPU（图形处理器）最擅长的事。

两个高频词解释。

参数（Parameter）：新闻里总说“万亿参数大模型”，参数就是这颗 Transformer 大脑里可以调节的旋钮。训练模型的过程，就是把海量文字喂进去，让机器自动微调这上万亿个旋钮，直到文字接龙接得又准又好。旋钮越多，能存下的规律就越细腻，“参数越多模型越聪明”的说法由此而来。比如 DeepSeek V4 的总参数有 1.6 万亿个。

多模态（Multi-modal）：Transformer 真正处理的东西叫 Token 序列，文字是切碎之后的 Token，图片切成小块、声音切成片段，一样能变成 Token 喂给它。所以今天的模型能看图、听声音、生成视频，底层还是同一套架构在工作，生图和生视频模型的核心部件同样源自 Transformer 家族。

AI 的聪明，是写出来的，还是学出来的？

AI 发展历史上有两条路线。

“背答案”派（学术名叫符号主义，已过时）：人类把规则一条条写死在程序里，问“苹果什么颜色”，得有人提前写好“苹果=红色”，没写过的问题就不会答。过去几十年的传统软件全是这个思路。

“刷题”派（学术名叫联结主义，现在所有 AI 都走这条路）：不写规则，把海量数据喂给神经网络，让它自己悟出规律。ChatGPT、Claude、DeepSeek 全部属于这一派，而这套神经网络的具体结构，就是上一节讲的 Transformer。

所以答案是学出来的。没有任何一个工程师往模型里写过“苹果是红色的”这条规则，它是从几万亿字里自己悟出来的。理解了这一点，“训练”这个词才算真正落地。

那具体是怎么刷题的？把整个过程想象成培养一位新员工，一共三步。

第一步：预训练先博览群书

预训练（Pre-training）就是那场规模大到超出直觉的“文字接龙特训”。把互联网上几乎所有公开文字，维基百科、书籍、论文、新闻、论坛帖子、代码，一段一段喂给模型，遮住后半句让它猜下一个词是什么。

猜错了怎么办？把上万亿个参数旋钮朝着“下次能猜对”的方向各微调一点点，然后换下一段再来。这个动作重复几万亿次之后，模型就把人类写下的语言规律、事实知识、推理套路全部压进了那些旋钮里。

用新员工的比喻，这一步相当于通识教育，把图书馆读穿。产出的东西叫基座模型（Base Model），博学，但不好用。你问它“北京有什么好玩的？”，它可能接一句“这是我去年在知乎看到的一个问题”，因为它只学会了接龙，还没学会对话。

第二步：监督微调岗前示范

怎么让接龙机器变成助手？给它看示范。

监督微调（SFT，Supervised Fine-tuning）：由人类撰写几万条高质量的标准问答，用户这样问，好的助手应该那样答，让模型照着模仿。数量不大，相比预训练的几万亿字只是九牛一毛，但作用关键，它教会模型“你现在的角色是助手，遇到问题要好好回答，不能随意接龙”。

新员工的比喻里，这一步是岗前培训，师傅带着做几十个标准案例，新人就知道这家公司的活该怎么干了。

第三步：人类反馈打磨分寸感

示范学完了还有最后一步。什么样的回答算“更好”？礼貌到什么程度？遇到危险问题要不要拒绝？这些很难靠示范穷举，只能靠反馈。

人类反馈强化学习（RLHF）的做法是让模型对同一个问题生成多个回答，由人类标注员排序打分，再用这些打分训练出一个评分模型，然后让主模型朝着得分更高的方向持续调整。你感受到的模型“性格”，语气、耐心、拒答的边界，主要都来自这一步。

新员工的比喻里，这是绩效反馈，干得好的地方强化，不合适的地方纠正，几轮下来新人就有了分寸。

训练为什么天价，使用为什么便宜

新闻里说“训练一次花费数亿美元”，花掉的就是前面三步，尤其是预训练，上万块 GPU 连续运转数月，电费加上芯片采购费用非常高。

但训练是一次性投入。旋钮一旦调好，日常使用（业内叫推理，Inference）只是让文字流过这套调好的旋钮，成本低得多。

打个比方，培养一位资深专家要二十年寒窗，请他回答一个问题却只要五分钟。训练是那二十年，推理是那五分钟，这就是为什么你每月几十块钱就能用上烧了几亿美元训出来的东西。

两个延伸概念：蒸馏、推理训练

蒸馏（Distillation），大模型教小模型。训练一个顶级大模型极贵，但让一个训好的大模型当老师，给海量问题写出标准答案，再让一个小模型当学生照着学，小模型就能以极低的成本学到老师在特定领域的大部分本事。近两年小模型进步飞快主要靠它，第三章要讲的“把模型装进手机”也以此为技术前提。

推理训练，让模型先打草稿再作答。这是 2025 年以来最重要的训练进展，在数学、代码这类有标准答案的任务上，让模型把思考过程一步步写出来，做对了给奖励。几轮下来，模型自己涌现出了拆解问题、反思、验算的习惯。你在一些产品里看到 AI 答题前先“思考”几十秒，就是这条路线的产物，DeepSeek 的 R 系列是代表之一。

比喻一：AI 的记忆像人脑，记大意，忘细节

构造和训练都看完了，再来看这颗大脑的“性格”。它有自己的能力边界，有些事做得很好，有些事天生做不好。

你读完一篇 3000 字的新闻，合上手机能复述个大概意思，但具体数字、人名、日期大概率记不全了。

LLM 做的事情跟这很像。当你给它一份几万字的财报让它分析风险，它并不会像 Excel 一样逐格读取每个数字，而是先把整份文件读懂成一段理解，再从这段理解里生成答案。那些不够显眼的数字、犄角旮旯的备注，很可能在理解的过程中就丢掉了。

比喻二：它只有右脑，没有左脑

左脑管逻辑、规则、精确计算，处理的是符号；右脑管直觉、联想、模式识别，处理的是印象。

过去几十年的所有软件，Excel、数据库、搜索引擎，都是左脑的产物，精确、可预测、不犯创意性错误。

LLM 的出现相当于右脑能力的突破。它能理解模糊意图、跨领域联想、写诗、写代码、共情，但它会用右脑的方式处理所有问题，包括那些本该交给左脑的事。

左右脑能不能协作？这件事正在发生。

让 AI 遇到数学题时调计算器、需要数据时查数据库、要验证结果时跑一段代码，就是让右脑在需要的时候借用左脑工具。

怎么把这些左脑工具接到 AI 身上？这是第二章要讲的 MCP 和 API。

上下文窗口与 Token

上下文窗口就是 AI 的工作记忆。你做一个复杂项目时，需要同时记住目标是什么、做到哪一步了、中间结论是什么、接下来该干嘛，AI 也一样，它的所有记忆都存在上下文窗口里，窗口有多大，它就能处理多复杂的任务。

上下文窗口有三个关键用途。

理解你的需求。你说的话、上传的文档、提供的背景信息全部放在这里，窗口太小，AI 连你的需求都看不完。

记住做到哪了。复杂任务里前面的结果和决定也存在这里，AI 做到第 10 步还能记得第 1 步的结论，靠的就是上下文窗口。

存放工具返回的结果。AI 查资料、调工具之后，返回的内容同样占这块地方，用的工具越多，消耗越大。

所以上下文窗口是 AI 最宝贵的资源，每一点空间都应该用在有价值的信息上。

Token 又是什么？AI 处理文字时会把它切成更小的块，这些块就叫 Token。中文约 1 字 ≈ 1～2 Token，英文约 1 个词 ≈ 1～2 Token。API 按 Token 收费，可以理解成 AI 的流量费，上下文窗口的大小也以 Token 为单位衡量。

主流模型的上下文窗口

Agent 到底和聊天有什么不同

前言里看到了很多 Agent 的真实案例，约会议、整理文件、做报价系统、做舆情监测。这些事情跟“和 AI 聊天”有什么本质区别？

区别在一个词，自主性。聊天机器人是你问一步它走一步，Agent 则是你给一个目标，它自己拆解、执行、验证，一路推到出结果。

Anthropic 曾让 Claude 运营一家真实的自动售货小店，选品、定价、联系供应商、跟顾客讨价还价全都自己来。第一期效果不好，模型能力和工具都不到位；第二期换上更强的模型和工具之后，经营走上了正轨。同一个任务，大脑和手脚的配置不同，结果可以完全不同。

Agent 的工作流程

具体来说，Agent 拿到一个目标后的典型工作方式是规划步骤 → 调用工具执行 → 检查结果 → 决定下一步，循环往复，直到完成交付。整个过程中你不需要逐步指挥，只要在关键节点确认方向。

Agent 的三个支柱

如果把 Agent 想象成一个人，它由三个部分组成：大脑（模型）、手脚（工具）、记忆（上下文）。市面上所有 Agent 产品，不管叫什么名字、套什么界面，拆开都是这三样。

大脑就是 LLM，负责推理、理解和决策，模型越强 Agent 越聪明，这是第一章讲过的；手脚是工具调用能力，让 Agent 能连接外部世界、真正动手做事，本章第 5、6 节会详讲；记忆是上下文窗口，让 Agent 记住进度和目标，窗口越大能处理的任务越复杂，第一章第 3 节也讲过了。

为什么 Agent 让人兴奋，又为什么现在还不够好

Agent 的意义在于，AI 不再只是回答问题，它能动手执行了。以前你问 AI 一个问题，它给你一段文字，执行仍然是你自己的事；Agent 改变了这个边界，你给它一个目标，它自己去找路、找工具，一路干到出结果。

不过“方向对”和“现在就好用”是两回事，目前把 Agent 当全能管家还有不少现实问题。

好消息是越来越多传统软件正在开放接口。已经有人在用 Agent 做量化交易的因子挖掘、自动化投研分析这类需要大量接口配合的工作，这在两年前还是纯粹的程序员领域。接口越开放，Agent 能做的事就越多。

什么是 Computer Use

Computer Use 指的是 Agent 像人一样操作电脑，看屏幕、移鼠标、点按钮、打字，不需要 API 接口，直接看屏幕操作。

先澄清一个常见误解。Computer Use 是一种能力，并非某个产品的专属功能，Anthropic、OpenAI、Google 都有自己的方案，理论上任何 Agent 都能用，市面上那些号称能替你操作电脑的“AI 助理”产品靠的就是它。不过有一个前提贯穿始终，操作桌面应用时依然要靠截图识别，后面的优点和代价都从这里来。

2026 年它进展到哪了

Computer Use 是过去一年进步最快的方向之一，最有代表性的例子是 OpenAI 的 Codex 桌面版。Agent 用一个自己的光标在你的电脑上看、点、打字，速度相当快，而且是在后台进行，几个 Agent 同时在你电脑上干活，互不干扰，也不耽误你自己用别的软件，你甚至可以用手机远程指挥它。“AI 替你点鼠标”第一次从发布会演示变成了日常可用的功能。

能力上也有了硬指标。在 OSWorld（一个让 AI 完成真实桌面任务的标准化测试）里，2026 年初最强的模型得分已经追平了人类基准线，72% 左右，而一年前最好的成绩还不到一半。

结构性成本一：GUI 是给人设计的，不是给 Agent 设计的

你手机上的 App、电脑上的软件，所有按钮、菜单、下拉框、滚动条、弹窗，这些统称 GUI（图形用户界面）。

GUI 的每一个设计决策都是为人类的眼睛和手指优化的：按钮要足够大，人手指才点得到；颜色对比要够强，人眼才看得清；还有鼠标悬停才显示的提示信息，以及拖拽排序、长按弹出菜单、双指缩放。

这些交互方式对人类来说很自然，对 AI 来说却全是障碍。

想象一下这个场景。你不得不远程办公，新来的同事需要完成一个任务，找你请教，但你们没法快速对话，你告诉他术语他理解不了，只能靠他截图发给你、你在截图上标注“点这里”、他再截图确认，这样一步步推进，每换到一个新界面都要重新截一轮。

对人类来说这种沟通方式已经非常低效，对 Agent 来说更糟。失去 API 接口就像你不在办公室，没法当面快速沟通，Agent 只能靠截图来理解界面，而每一张截图都在烧它的大脑（消耗模型 Token），占用它的记忆（上下文窗口）。

结构性成本二：截图识别造成上下文污染

Computer Use 的工作方式是每做一步操作，就截一张屏幕图片发给 AI 模型。

问题在于 AI 的记忆（上下文窗口，第一章第 3 节讲过）是有限的。每张截图大约消耗 1000～2000 个 Token，一个 10 步操作就是 10 张截图，占用 1 万～2 万 Token。截图越多，AI 越容易忘记最初的目标和中间步骤，错误持续累积，成本飙升，速度极慢，信噪比一路恶化，AI 越操作越糊涂、越贵、越慢。

为什么 Agent 需要“手和脚”

Agent 需要能做事的手段，上一节的 Computer Use 是其中成本最高的方式，靠像素级模拟人类操作。更好的方式有三种，它们全部走文字数据通道。

API：程序之间的“插座”

API 就是软件留给其他程序的快捷通道。

你平时可能没注意，但你用的每个 App 背后都有 API。比如你在淘宝下单后，物流信息自动出现在支付宝里，淘宝和快递公司之间就是通过 API 互通数据的。微信支付、高德导航嵌入到各种 App 里，走的也是 API。

API 的好处很直观：数据直接传输，不需要看屏幕猜；速度快到眨眼就完成；不用处理图片，费用因此低得多；结果确定，不会看错。局限也同样明确，它需要软件厂商主动开放接口，而每家的 API 格式又各不相同，对接起来相当麻烦，国内很多软件至今不开放 API。

CLI：电脑里现成的“文字遥控器”

CLI（Command Line Interface，命令行接口）是软件的文字操作通道，你输入一行文字指令，软件直接执行并用文字回应。

这不是什么新发明，恰恰相反，它是计算机世界里最老的接口。过去几十年，程序员给几乎所有重要的软件都留了命令行通道，处理视频的 ffmpeg、管理代码的 git、转换图片的工具、还有操作系统本身的全部功能，这些工具不开 GUI 窗口、没有按钮，全靠一行行文字指令驱动。

过去这是程序员的专属领地，但 AI 时代它突然变成了一座现成的金矿。CLI 全是文字，而文字是 AI 的母语，对 Agent 来说每一个有 CLI 的软件都等于一个不用任何改造就能直接调用的工具。这就是为什么 Claude Code 这类 Agent 装好就什么都能干，剪视频、转格式、批量改文件名，它调用的正是你电脑里那些积累了几十年的命令行工具。

MCP：AI 世界的“Type-C”

MCP（Model Context Protocol，模型上下文协议）最初由 Anthropic 在 2024 年底推出，2025 年 12 月捐赠给 Linux Foundation 旗下的 Agentic AI Foundation，成为行业级的开放标准，OpenAI、Google、Microsoft、Amazon 等巨头全部加入。它解决的核心问题是：每个软件的 API 格式都不一样，Agent 怎么统一对接？