大模型概述

文章目录

    大模型概述

    第 1 章 大模型入门

    1.1 大模型常识

    首先我们先建立对大模型的整体认知。

    1.1.1 什么是大模型

    目前行业没有绝对统一的定义,简单来说,大模型就是参数规模大、训练数据多、能力全面的深度神经网络模型。它有三个核心特点:

    1. 参数规模庞大 大模型的参数量通常在 10 亿以上,顶尖模型已经做到万亿级别。大家可以把参数理解成 AI 大脑里的「神经连接权重」,参数越多,模型能存储的知识和规律就越多,能力上限也就越高。

    Image

    比如常听到的 Qwen3-235B,意思就是它有 2350 亿个参数。 2. 训练数据庞大 大模型是「读万卷书」练出来的,训练数据量是传统机器学习的成千上万倍。 举个例子,行业常用的公开数据集叫 Common Crawl,是一个全网网页爬虫项目,每隔 1-2 个月发布一批爬取的网页数据。其中清洗后的纯文本文件叫 WET,就是大模型预训练的基础素材之一。

    Image

    像 Qwen3 的预训练,一共用了 36 万亿个 token 的语料。token 就是 AI 能识别的最小文字单位,相当于 AI 读了海量的文本资料。

    Image

    1. 能力强大 传统 AI 模型是「专用工具」,一个模型只能干一件事,比如专门做情感分析、专门做人名识别。 而大模型是「通用工具」,一个模型就能干翻译、写作、写代码、做题、总结等几十种任务,跨任务泛化能力非常强。

    1.1.2 为什么现在才出现大模型?

    大模型不是突然冒出来的,它是数据、算力、架构三者共同发展到一定阶段的必然结果。

    1. 数据够多:训练方式变革,数据量指数级增长 传统机器学习叫监督学习,所有数据都要人工打标签,比如给图片标「猫」「狗」,给文本标实体,成本极高,数据量一直上不去。

    Image

    而大模型用的是自监督学习,最简单的理解就是「预测下一个字」:给一段文字,遮住最后一个字让模型猜。这种方式不需要人工标注,全网无主文本都能用来训练,可用数据量直接提升了好几个数量级。 2. 算力够强:GPU 性能飞跃 + 分布式训练成熟 深度学习本质就是海量矩阵数学运算,天然适合并行计算。GPU 也就是显卡,天生擅长干这种大量重复的计算。 这些年英伟达显卡性能飞速提升,同时数据并行、张量并行、流水线并行这些分布式训练技术也成熟了,我们可以把成千上万张显卡连在一起,合力训练一个超大规模的模型。

    Image

    1. 架构合理:Transformer 架构的诞生 2017 年谷歌提出了 Transformer 架构,彻底解决了之前模型不能并行、长文本记不住的问题。而且它有个特别好的特点:模型越大、数据越多、训练越久,效果就越好,性能提升非常稳定。 正是因为这种优秀的「可扩展性」,大家才愿意不断堆参数、堆算力,把模型越做越大,最终迎来了大模型时代。

    1.1.3 大模型的核心计量单位

    研究大模型,我们一般从三个维度衡量它的规模:参数、数据集、计算量,同时还要区分算力的概念。

    1. 参数规模 单位是 B,Billion 的缩写,1B = 10 亿。 比如 7B 模型就是 70 亿参数,235B 就是 2350 亿参数。

    2. 训练数据集规模 大语言模型的训练数据用 token 衡量,token 就是文字切分后的最小单位。

      • 1B token = 10 亿个文字碎片

      • 1T token = 1 万亿个文字碎片 现在主流大模型的预训练数据,基本都是几十 T token 的量级。

    3. 计算规模(FLOPs) 注意这里是带小写 s 的 FLOPs,全称是浮点运算次数,用来衡量训练一个模型总共算了多少次数学题,是「总量」的概念。 单位常用 EFLOPs,1EFLOPs = 10 的 18 次方次运算。顶尖大模型的训练计算量通常在 EFLOPs 级别,这个数据厂商一般不公开。 计算规模和硬件无关,只描述模型训练的理论总计算量。

    4. 算力(FLOPS) 这里的 S 是大写,意思是每秒浮点运算次数,衡量的是硬件算得有多快,是「速度」的概念。 常用单位是 TFLOPS(每秒万亿次)、PFLOPS(每秒千万亿次)。 这里大家注意:描述算力一定要标注浮点数精度,比如 FP32、TF32,因为同一张显卡不同精度下的算力差很多。 比如英伟达 B200 显卡,TF32 精度下单卡算力是 2.5PFLOPS,而 FP32 精度下是 80TFLOPS,差距非常大。 这里给大家总结一下,四个概念不要搞混:

    • 模型参数有多少,用 B 做单位;

    • 训练数据有多少,用 T token 做单位;

    • 训练总共算了多少,用 FLOPs 做单位;

    • 显卡算得有多快,用 FLOPS 做单位。

    Image

    1.1.4 大模型的分类

    我们从两个维度给大模型分类。

    维度一:按功能 / 输出形态分
    1. 生成式模型

    Image

    最常见的一类,输入上下文,输出新的内容,可以是文字、图片、视频。 用途:对话、推理、画图、写代码。 例子:GPT、DeepSeek、Qwen、DALL・E。

    Image

    1. 嵌入模型(向量表征模型)

    Image

    输入文字 / 图片,输出一串固定长度的数字向量,不生成新内容。 用途:语义搜索、RAG 知识库检索、判断两段内容的相似度。 例子:BGE 系列、Qwen3-Embedding。 3. 重排序模型

    Image

    输入一个问题和一堆文档,给每个文档打相似度分,用来做精排。 用途:RAG 的第二阶段,先粗筛出几十条,再用它选出最相关的几条。 例子:BGE-Reranker、Qwen3-Reranker。 4. 分类器 / 判别模型

    Image

    输入内容,输出类别标签或者是 / 否的判断。 用途:意图识别、内容审核、任务路由。 一般是微调后的小模型,比如基于 BERT 微调的分类模型。

    维度二:生成模型按模态分

    首先说什么是模态:简单理解就是信息的形式,文字、图片、音频、视频都是不同的模态。

    Image

    如果没有特别说明,我们平时说的「大模型」,默认指的是大语言模型。

    1. 大语言模型(LLM)

    Image

    输入文本,输出文本。 能力:对话、写作、推理、代码生成。 例子:Qwen3、DeepSeek-V3、GPT 的语言模块。 补充一句:ChatGPT、Gemini 这种是完整的 AI 产品,不是单一模型,它们是以大语言模型为核心,同时集成了图像理解、生成等能力。

    Image

    1. 多模态理解模型

    Image

    输入文本 + 图片 / 音频 / 视频,输出文本。 能力:看图说话、PDF 文档理解、视频内容总结。 例子:Qwen3-VL、GPT 的图片理解模块。 3. 多模态生成模型

    Image

    输入文本 / 图片,输出图片、视频、音频。 细分有文生图、文生视频、文生语音。 例子:Stable Diffusion(画图)、Sora(生成视频)、VALL-E(生成语音)。

    1.1.5 AIGC 和 AGI

    这两个词大家经常听到,我们明确区分一下。

    1. AIGC 全称是人工智能生成内容,简单说就是用 AI 生成内容。 所有 AI 写文案、画图、做视频、配音,都属于 AIGC 的范畴,它是一类技术和应用的统称。

    2. AGI 全称是通用人工智能,指拥有和人类一样通用认知能力的 AI:能自主学习、能举一反三、能解决各种陌生领域的问题,甚至能自主发现问题、制定策略。 目前 AGI 还没有实现,现在的大模型离真正的通用人工智能还有很远距离,尤其是复杂决策、和物理世界交互这类任务,AI 还做不到。

    Image

    一句话总结:AIGC 是现在就能用的 AI 生产工具,AGI 是未来的终极目标。

    1.1.6 大模型的开源和闭源

    大模型由四部分组成:模型权重(参数)、训练代码、推理代码、训练数据集。

    Image

    和传统软件开源不一样,大模型的「开源」,主要是指公开模型权重,可能附带推理代码;而训练代码和训练数据集一般不公开,属于厂商的核心机密。

    1. 开源模型 权重公开,大家可以下载到本地运行、二次修改、微调。 代表:DeepSeek 系列、Qwen 通义千问系列、Llama 系列。

    2. 闭源模型 权重不公开,只能通过官方网页或者 API 调用,不能本地部署。 代表:GPT 系列、Gemini 系列、Claude 系列。


    1.2 大语言模型的架构演进

    接下来我们聊一聊,现在的大模型为什么都用 Transformer 架构,它是怎么一步步发展过来的。 首先明确一个大方向:NLP 也就是自然语言处理技术,从最早的规则系统,到统计方法,到传统机器学习,再到深度学习。 在深度学习之前,核心是特征工程:专家手动设计要提取的特征,告诉模型「你要看什么」。 进入深度学习时代,核心变成了表示学习:模型自己从数据里学习特征,自己判断「该关注什么」。 现代大模型,都属于表示学习的范畴。 深度学习的文本模型,经历了从 RNN 到 LSTM、GRU,再到 Seq2Seq+Attention,最后到 Transformer 的演进过程。我们一个个看。

    1)RNN 循环神经网络

    核心思路:一个字一个字地读句子,每读一个字,就结合之前的内容更新一次理解。

    Image

    它有两个致命问题:

    • 长文本记不住:句子太长的话,最开头的内容传着传着就没了;

    • 不能并行计算:必须等前一个字算完,才能算下一个字,训练特别慢。

    2)LSTM 长短期记忆网络

    在 RNN 的基础上做了优化,加了记忆单元和三个门控机制,像给模型加了个「记事本」,一定程度上缓解了忘事的问题。

    Image

    但问题也很明显:

    • 参数变多了,计算量更大;

    • 最核心的两个问题没解决:还是不能并行计算,特别长的文本还是会忘。

    3)GRU

    在 LSTM 基础上简化,把门从三个减成两个,参数更少,速度快了一点。

    Image

    但本质还是 RNN 的底子,串行、长依赖差的老问题依然存在。

    4)Seq2Seq

    就是编码器 + 解码器的结构,专门用来做输入输出都是序列的任务,比如翻译、摘要。

    Image

    它的问题是:编码器会把整句话压缩成一个固定长度的向量,就像一个细瓶颈,长句子的信息大量丢失;而且解码器生成每个词的时候,不能灵活关注源句里不同的部分。

    5)Seq2Seq+Attention

    为了解决上面的问题,加入了注意力机制:解码器生成每个词的时候,可以动态地从编码器的所有内容里挑重点看,不用只依赖一个压缩后的向量。

    Image

    效果确实好了很多,但底层还是 RNN,串行计算、长文本的老问题还是没根除。

    6)Transformer

    2017 年谷歌发表了论文《Attention Is All You Need》,提出了 Transformer 架构。

    Image

    它彻底扔掉了 RNN,完全用注意力机制来建模文字之间的关系。 它沿用了编码器 + 解码器的整体结构,编码器有自注意力层和前馈层,解码器多了一个交叉注意力层。

    为什么 Transformer 能成为大模型的标准架构?

    三个核心原因:

    1. 支持并行计算,训练效率极高

    Image

    一整句话可以同时计算,不用一个字一个字等,训练速度直接提升了几个量级,这才能支撑超大规模的模型训练。 2. 全局依赖,长文本建模能力强

    Image

    任意两个字之间都能直接建立联系,不用一步步传递,再长的文本也能捕捉到远距离的关联。 3. 可扩展性好

    Image

    只要堆参数、堆数据、堆算力,模型效果就能稳定提升,没有明显的天花板。这一点至关重要,让大家愿意持续投入把模型做大。

    为什么现代大语言模型都是 Decoder-Only(仅解码器)架构?

    Transformer 有三条技术路线:仅编码器、编解码、仅解码器。

    Image

    • 仅编码器:擅长给文本做表征,适合分类、匹配任务,不适合生成内容;

    Image

    • 编解码:输入输出界限分明,适合翻译这类任务,但参数利用率低;

    Image

    • 仅解码器:核心是自回归生成,天生就适合逐字输出内容。

    Image

    大家最终都选 Decoder-Only,有三个原因:

    1. 更适合自由对话和连续生成,不用硬切输入输出,使用更自然;

    2. 参数利用率更高,所有参数都用来做生成建模,性价比更高;

    3. 普适性好,几乎所有 NLP 任务都能转成「预测下一个 token」的生成任务,通用能力强。 所以现在我们用的主流大语言模型,全都是 Decoder-Only 架构。

    Image

    它的工作流程很简单:输入文字切成 token,转成向量,进模型算出下一个字的概率,选一个字追加回去,再算下一个,循环往复,直到生成结束。


    1.3 大语言模型的训练范式

    现在训练大模型,已经有了一套标准流程,叫「预训练 + 后训练」。后训练又分成 SFT 监督微调和 RLHF/RLAIF 偏好对齐两个阶段。

    Image

    我们可以把它理解成 AI 的「上学三部曲」。

    1)第一阶段:预训练 —— 读万卷书,学语言

    这一阶段,给模型喂海量的全网文本,用「预测下一个 token」的方式训练。 训练完之后,模型拥有了完整的语言能力,懂语法、有知识、会文字接龙,但它不会跟人对话,也听不懂指令。 比如你问「下雨要带什么」,它可能接「东西」,而不是回答「带雨伞」,因为它只会顺着往下接话,不知道要回答用户的问题。

    2)第二阶段:SFT 监督微调 —— 学指令,懂对话

    在预训练模型的基础上,用少量高质量的人工标注问答数据继续训练,教模型怎么听懂人类指令、怎么正常对话。 训练完之后,你问「下雨带什么」,它就会正确回答「带雨伞」了。 但 SFT 有个短板:它是靠模仿样例学习的,安全边界不稳。如果用户绕着弯诱导,比如用「做安全培训」当借口问木马代码,模型很容易被套出违规内容。

    3)第三阶段:RLHF/RLAIF—— 对齐偏好,懂好坏

    SFT 只是让模型「会回答」,但不知道「哪个回答更好、更安全」。 RLHF 就是人类反馈强化学习:给模型同一个问题的多个答案,让人来打分排序,告诉模型哪个好、哪个差,用这个偏好数据训练奖励模型,再用强化学习的方式优化大模型。 RLAIF 就是把打分的人换成 AI,降低人工成本。 经过这一步之后,模型的输出会更符合人类偏好:

    • 安全上:面对多轮诱导也能守住边界,不容易生成违规内容;

    • 有用性上:回答更具体、更有操作性,不是泛泛而谈的空话。 这里给大家对比一下 SFT 和 RLHF 的效果差异: 同样是用户问「睡 8 小时还是累」,SFT 可能只会说「影响因素很多,建议规律作息,不行看医生」,很正确但没用; 而 RLHF 优化后的模型,会告诉你可能是深睡眠不足,常见原因有哪些,怎么观察判断,给出具体的行动建议。


    1.4 大模型算力基础设施

    大模型是算力堆出来的,我们来了解一下背后的硬件基础。

    1.4.1 核心计算芯片

    Image

    1)CPU 中央处理器

    Image

    电脑的通用大脑,擅长处理复杂的串行任务,什么都能干,但什么都干得不算特别快。 它只有少量强大的计算单元,用来做 AI 训练效率极低。

    2)GPU 图形处理器(显卡)

    Image

    本来是用来做图形渲染的,后来发现它有海量的小计算单元,特别适合并行计算,完美适配深度学习的矩阵运算。 现代 GPU 还专门加了 Tensor Core 张量核心,专门加速 AI 计算,效率大幅提升。 现在 90% 以上的大模型,都是在英伟达的 GPU 上训练的,核心原因不只是硬件强,更是它的 CUDA 生态完善。

    Image

    3)NPU 神经网络处理器

    Image

    也叫 AI 加速器,是专门为神经网络设计的芯片,砍掉了没用的通用计算单元,只保留 AI 需要的矩阵、向量、标量计算单元。 牺牲通用性,换来 AI 任务上的更高性能和更低功耗。 代表:华为昇腾、寒武纪。

    4)TPU 张量处理器

    Image

    谷歌自研的专用 AI 芯片,属于 NPU 的一种,专门适配自家的 TensorFlow 框架,谷歌的 Gemini 模型就是在 TPU 上训练的。 给大家总结一下演进逻辑:

    Image

    CPU → 通用但慢 传统 GPU → 并行强,适合科学计算和早期 AI 现代 GPU → 加了 AI 专用单元,是现在的主流 NPU/TPU → 纯 AI 专用,性能功耗比更高

    1.4.2 内存和显存

    • 内存(RAM):给 CPU 用的临时存储空间。

    • 显存(VRAM):给 GPU 用的专用内存,存模型参数、中间计算结果。 高端计算卡一般用 HBM 显存,带宽特别大;普通游戏卡用 GDDR 显存。

    1.4.3 训练和推理的硬件瓶颈

    大家常说「算力不够」,其实不只是计算速度不够,很多时候是显存不够、通信太慢。

    训练阶段的瓶颈,优先级从高到低:
    1. 显存容量:第一瓶颈。训练时不仅要存模型参数,还要存梯度、优化器状态、中间激活值,显存占用是参数本身的好几倍。显存不够就会「爆显存」,数据要卸到内存甚至硬盘,速度暴跌。

    2. 多卡通信:模型太大单卡装不下,就要拆分到多卡,这时候卡之间的数据传输速度就成了瓶颈。

    3. 算力:显存够、通信也快的时候,才是纯算力瓶颈。模型越大,训练越吃算力。

    推理阶段的瓶颈

    Image

    推理就是用户正常调用模型生成回答的过程。这里有个关键技术叫KV Cache:把之前生成内容的注意力计算结果缓存起来,不用每次都重新算,用来加速。 推理的瓶颈主要是:

    1. 显存容量:要存模型参数和 KV Cache;

    2. 显存带宽:逐字生成的时候,每次都要从显存读整个模型,计算单元其实在等数据,带宽不够就慢;

    3. 算力:刚输入提示词的预填充阶段,计算量大,算力是瓶颈。

    1.4.4 CUDA:英伟达的护城河

    CUDA 是英伟达的并行计算平台和软件生态,提供了一整套开发、调试、优化工具。

    Image

    英伟达的领先,不止是硬件参数强,更重要的是 CUDA 生态把硬件的理论算力真正转化成了可用性能,能发挥出硬件 90% 以上的实力。 其他厂商的显卡就算硬件参数追上,软件生态差很远,实际 AI 训练效率还是比不过英伟达。


    第 2 章 大模型的工程实现

    好,基础理论部分讲完了。接下来我们讲第二部分:大模型怎么落地成可用的应用。 从工程角度,大模型的落地主要有五种方案,按复杂度从低到高分别是:

    Image

    提示词工程、RAG 检索增强生成、微调、续训、智能体开发。 我们一个个来讲。

    2.2 提示词工程

    这是最简单、零成本的落地方式,也是所有方案的基础。

    2.2.1 基本概念

    • 提示词(Prompt):你给大模型输入的内容,用来描述任务、给上下文、定要求。

    Image

    提示词就像考试的题目,有题目模型才能作答。

    • 提示词工程:通过系统化地设计、优化提示词,让模型稳定输出高质量的结果。 为什么要优化提示词?

    Image

    就像你去看病,只说「我不舒服」,医生很难判断;你把症状、时长、诱因说清楚,医生才能给出准确的诊断。提示词越清晰,模型输出越靠谱。

    2.2.2 提示词五要素

    Image

    写提示词没有绝对的标准格式,但工程上总结了五个核心要素,覆盖到了,效果一般都不会差。 分别是:角色 / 任务、上下文、输入数据、输出要求、约束。

    1. 角色 / 任务 告诉模型「你是谁、要干什么」。 给角色是为了限定模型的视角和表达方式,比如「你是一名资深数据分析师」,模型就会自动用数据分析的框架和话术来回答。 任务是明确核心目标,避免模型跑偏。

    2. 上下文

    Image

    补充背景信息、参考资料、历史对话摘要,给模型足够的信息支撑。 这一项不是必须的,没有额外背景可以省略。 3. 输入数据 用户当前的提问、或者要处理的原始素材,是模型加工的对象。 4. 输出要求 规定输出长什么样,关注形式和结构。比如:用表格输出、分几点、包含哪些字段、字数多少、什么风格。 这里加一个示例,效果会特别好,模型对格式的遵循度会大幅提升。 5. 约束 划定模型的行为边界。比如:只能用给定资料、不能编造信息、不允许输出违规内容、信息不足时要明确说明。 小技巧:用 #、-、* 这些符号标记关键部分,模型会更关注这些内容,指令遵循效果更好。

    2.2.3 多轮对话的消息结构

    如果是通过 API 调用大模型,我们会把对话内容分成三类角色,这是行业通用的规范:

    Image

    • System(系统提示词):全程不变的规则,角色、任务、输出要求、约束都放这里。一个对话一般只有一条。

    Image

    • User(用户消息):用户的提问和输入。

    Image

    • Assistant(助手消息):模型的历史回答。 这么设计的好处是:稳定的规则只传一次,不用每轮都发,省 token,而且输出更稳定。 模型本身是没有记忆的,要实现多轮对话,就要把历史对话全部塞进去,每轮新增一条用户消息和一条助手消息。

    2.2.4 提示词模板

    提示词模板就是把提示词里固定的部分留下来,变化的部分做成占位符,运行的时候自动填充变量。 比如{persona}填角色,{input_data}填输入内容。 它的作用是复用,不用每次都重写整段提示词,代码里批量调用特别方便。 一般在 LangChain 这类框架,或者 Dify、Coze 这类平台里用得比较多。

    2.2.5 提示词工程的边界

    提示词不是万能的,这几种情况它就搞不定:

    1. 参考资料太多:超过了模型的上下文窗口,塞不下,这时候要用 RAG。

    2. 多步骤复杂任务:比如写完整的小说大纲,要分好多步,模型一次生成容易跳步、漏项,这时候要用 Agent 智能体。

    3. 指令遵循 / 风格要求极高:比如要完全模仿某个人的说话风格,提示词描述不清楚,给几个例子也没用,这时候要用微调。

    4. 缺领域专业知识:比如非常细分的行业术语和流程,模型根本没学过,提示词补不过来,这时候要用续训。


    实操:提示词工程工具与配置

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    2.3 RAG 检索增强生成

    2.3.1 什么是 RAG

    RAG 全称检索增强生成,简单说就是给大模型外挂一个专属知识库。

    Image

    用户提问的时候,先去知识库⾥搜相关的资料,再把问题和搜到的资料一起发给大模型,让模型基于资料回答问题。 它的完整流程是:

    1. 准备阶段:把文档切成小块 → 用嵌入模型转成向量 → 存进向量数据库

    2. 使用阶段:用户提问 → 把问题转成向量 → 从向量库搜最相似的几段内容 → 把内容和问题拼起来发给大模型 → 生成答案

    2.3.2 什么时候用 RAG

    Image

    核心就是模型缺信息的时候用:

    • 需要最新信息,比如当天的新闻、实时数据;

    • 需要用私有数据,比如公司内部制度、产品文档,这些模型训练的时候没见过。 RAG 的优势是不用改模型,成本低,资料更新方便,是企业落地知识库问答的首选方案。


    2.4 微调

    2.4.1 什么是微调

    在已经训练好的基础大模型上,用你的专属数据,按照 SFT 的方式再训练一小段,让模型适配你的特定需求。

    2.4.2 什么时候用微调

    两种场景:

    1. 提示词怎么调效果都不好,比如指令遵循差、风格话术不对;

    2. 有些知识每次都要放提示词里,太长了费钱,还容易超上下文窗口,可以微调把知识固化到模型里。

    2.4.3 微调的两种方式

    1. 全参微调:更新模型所有参数。效果好,但耗显存、成本高,大模型一般不用。

    2. PEFT 高效微调:冻结模型绝大部分参数,只训练一点点新增的参数。成本低、速度快,一张消费级显卡就能微调 7B 模型,是现在的主流方案。 注意:微调要有足够的数据,数据太少容易过拟合,就是死记硬背训练集,新问题就不会了。


    2.5 续训

    2.5.1 什么是续训

    在基础大模型上,用和预训练一样的「预测下一个 token」的方式,继续训练。 和微调不一样,微调是教它「怎么回答」,续训是补「底层知识」。

    2.5.2 什么时候用续训

    当模型完全看不懂你的行业语言,对整个领域的知识系统性缺失,微调也救不了的时候,用续训。 比如半导体、医疗这种非常专业的垂直领域,模型连术语都不懂,就需要用海量领域文本先续训补知识,再微调做任务。 续训对数据量和算力的要求,比微调高一个数量级,成本很高,一般只有大厂才会做。


    2.6 智能体(Agent)开发

    2.6.1 什么是智能体

    简单说,智能体就是会思考、会用工具、能自己分步完成复杂任务的 AI 系统。

    Image

    它以大模型为大脑,配上记忆、工具、规划能力,能自己把复杂任务拆成一步步,调用工具去完成。 一个完整的智能体有四个要素:

    Image

    • 行动:必须有的,能对外产生动作;

    • 工具:几乎都有,比如搜索、计算器、代码执行、数据库查询;

    • 规划决策:复杂任务需要,拆分子目标、分步执行;

    • 记忆:可选,短期记忆是对话历史,长期记忆存在向量数据库里。

    2.6.2 什么时候用智能体

    当其他方案都搞不定的时候,就考虑智能体。 比如需要多步推理、需要调用外部工具、流程复杂多变的场景。 它是五种方案里复杂度最高、能力最强的。

    2.6.3 工具调用的两种方式

    工具调用是智能体的核心,现在主要有两种实现方式。

    1)Function Call(函数调用)

    Image

    这是现在主流大模型都支持的能力。 流程是: 用户提问 → 模型判断要不要用工具、用哪个工具、传什么参数 → 程序执行工具拿到结果 → 把结果和对话再发给模型 → 模型整理出最终答案。 它的缺点也很明显:

    • 每个工具都要自己写描述,和业务绑定,很难复用;

    • 不同厂商的规范不一样,换模型就要改一遍,维护麻烦;

    • 工具描述写不好,模型就容易调错。

    2)MCP 模型上下文协议

    Image

    这是 2024 年底 Anthropic 提出来的新标准,可以理解成 AI 界的 USB-C 接口。 它把工具做成独立的 MCP 服务器,只要支持 MCP 协议的 AI 应用,都能直接用这些工具,即插即用。 相比 Function Call,它的优势很明显:

    • 工具一次开发,到处能用,复用性强;

    • 工具实现和模型适配分开了,不用每个模型都写一遍描述;

    • 公开的 MCP 工具经过社区检验,更规范、更可靠。 现在已经有很多现成的 MCP 工具,比如网页抓取、搜索、文件操作等等,直接拿来就能用。

    Image


    实操:MCP 配置教程

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    Image

    2.6.4 工作流(Workflow)

    Image

    工作流可以理解成「固定版的智能体」。

    Image

    它把任务拆解成固定的步骤,按预设的流程一步步执行,不能自己随机应变。 好处是稳定性高、结果可控、可解释性强,适合流程固定、规则明确的场景。 和 Agent 的区别就是:Agent 灵活,能处理不确定的任务;工作流固定,稳定可靠。

    2.6.5 开发方式

    Image

    不管是智能体还是工作流,都有两种开发路径:

    1. 在线平台开发:比如 Dify、Coze,可视化拖拽,上手快,不用写太多代码,适合快速验证需求。

    2. 基于框架开发:比如 LangChain,自由度高,能做复杂定制化的功能,但难度也更高。


    最后总结

    最后我们串一下五种落地方案的选择逻辑:

    • 简单任务、要求不高:先用提示词工程,成本最低;

    • 缺外部知识、私有资料:加 RAG;

    • 要固定风格、提升指令遵循:做微调;

    • 系统性缺行业知识:考虑续训;

    • 多步骤、要调用工具、流程复杂:上智能体 / 工作流。 实际项目中,遵循「能简单就不复杂」的原则,优先用低成本的方案,不行再升级。

    end