AI 入门：概念与学习指南

从基础开始

• 监督学习是什么？理解标签、训练与预测的基础逻辑
• 无监督学习：没有人工标签时，结构从假设中来
• 强化学习：从延迟反馈中学习决策策略
• 神经网络
• 梯度下降：方向、步长与噪声怎样共同决定学习

理解语言模型

• Token 与分词：模型真正读写的离散语言
• 嵌入 Embedding
• 注意力机制
• Transformer
• 大语言模型 LLM

理解 AI 应用

• 提示工程
• RAG 检索增强生成
• 检索与语义搜索
• 工具调用 / 函数调用
• AI Agent

全部概念解释

130 篇理解页，可在文章内切换已有的翻译版本。

• 聚类：相似度、簇形状与用途共同决定分组

  从 K-means 的分配—更新手算，到层次、DBSCAN、混合模型、选 k、稳定性和业务解释。

• 宪法式 AI：用显式原则指导批评、修订与偏好学习

  从原则文本、情境解释、冲突优先级到 AI 反馈训练，理解怎样减少逐例人工标签，以及为什么原则选择仍然是治理问题。

• 维度灾难：空间变大后，数据为何迅速变稀

  从体积指数增长、距离集中和样本复杂度理解高维检索、密度估计与降维的必要性。

• 决策树与集成方法：用分裂规则组合非线性决策

  从不纯度、信息增益、剪枝到随机森林和梯度提升，理解树模型对表格数据的优势与泄漏风险。

• 降维：用更少坐标保留任务所需结构

  从 PCA、随机投影、t-SNE、UMAP 与自编码器理解压缩目标、可视化失真、数据泄漏和下游评测。

• 循环神经网络 RNN：把历史压进一个不断更新的状态

  从共享递推、时间展开与 BPTT，到梯度连乘、LSTM 门控、教师强制和流式部署。

• 卷积神经网络 CNN：让同一个局部检测器扫遍空间

  从离散卷积、权重共享和输出形状，到感受野、采样混叠、平移等变与现代视觉骨干。

• 嵌入 Embedding

  把文字变成向量，让「意思相近」变成「距离相近」

• 注意力机制

  处理每个词时，让模型自己决定该「看」句子里的哪些词

• 反向传播：把一个结果的责任高效分回全部参数

  从计算图、局部导数和上游梯度开始，完整手算一次反向遍历，并理解分叉累加、向量—雅可比积、激活缓存和梯度检查。

• Token 与分词：模型真正读写的离散语言

  从 Unicode、预切分、BPE/Unigram、字节回退到特殊 token，理解同一句文本为何会变成不同长度、不同成本和不同能力边界。

• 批归一化：用批统计稳定通道尺度

  从卷积张量的统计轴、训练/推理双路径、运行均值到同步 BatchNorm，理解它为何加速许多视觉网络，又为何会在小批量、域迁移和部署融合时失效。

• 微调 Fine-tuning

  在预训练的「通才」上继续训练，调成某个任务的「专才」

• 知识蒸馏：让小学生逼近教师的条件分布与行为

  从软标签、温度与 KL，到 token/序列/特征蒸馏、覆盖缺口、容量上限和偏差继承。

• 上下文窗口

  模型一次能「看见」的 token 总量上限

• PEFT / LoRA：冻结主干，只学习低秩权重增量

  从 ΔW=BA、rank 与缩放，到可训练参数账、QLoRA、目标模块、合并版本和多适配器干扰。

• 预训练

  在海量无标注文本上自监督学习，一次性把「通用能力」灌进模型

• 量化：把连续参数压到有限格点

  从 scale、zero-point 和舍入误差，到粒度、异常值、PTQ/QAT、权重/激活/KV 与硬件内核。

• 后训练 Post-training

  预训练给能力，后训练决定这些能力怎样被调用和呈现

• 归一化：控制表示尺度，稳定深层优化

  从 LayerNorm 的中心化、RMSNorm 的均方根缩放，到 Pre-Norm/Post-Norm 与实现验收，理解归一化究竟沿哪条轴统计、保留什么、又丢掉什么。

• 优化器与学习率调度：把瞬时梯度变成可控训练轨迹

  从 SGD、Momentum、Adam 与 AdamW 的状态更新，到预热、平台、衰减、批量规模和混合精度；理解一套训练配方为什么必须整体调试。

• 损失函数：把‘哪里错了’变成可学习的方向

  从业务代价到可微代理，从单样本误差到经验风险；用同一个数值例子看见损失、梯度和参数更新怎样接成闭环。

• 自监督学习：让数据自己产生训练目标

  统一理解自回归、遮盖重建、对比学习与自蒸馏，并追踪预文本目标怎样迁移、走捷径或错位。

• 位置编码与 RoPE：让注意力知道顺序和距离

  从排列等变、正弦绝对位置、相对偏置到旋转位置编码，理解顺序怎样进入注意力，以及长上下文扩展为何不是改一个窗口数字。

• 梯度消失与爆炸：深度怎样把局部导数放大成指数效应

  从标量连乘到矩阵雅可比，从 sigmoid 饱和到 RNN 时间展开；用数值例子理解初始化、门控、残差、归一化和梯度裁剪分别改变哪段路径。

• 对比学习：用正对与负对塑造表示空间

  从 InfoNCE、温度与梯度方向，到增强不变性、大批量、假负样本、表示坍缩和迁移验收。

• CLIP：用图文对比把两种模态对齐到同一空间

  从双编码器、归一化相似度矩阵和对称交叉熵，到零样本分类、检索、组合关系与偏差边界。

• 系统提示：在概率模型里声明行为契约，而不是建立安全边界

  从消息序列、指令优先级、冲突解析和上下文拼装，到注入、泄露、版本化与契约测试，理解系统提示能控制什么。

• 上下文工程：设计模型在这一刻真正能看见的信息

  把提示词、检索证据、工具结果、记忆与历史消息当成有限预算下的信息系统，而不是把所有文本一股脑塞进窗口。

• 响应预填充：让模型从一个给定的答案前缀继续

  理解 assistant prefix 如何改变条件分布，并与输入 prefill、提示缓存和约束解码严格区分。

• 结构化输出：把概率文本接入确定性软件契约

  从最小 schema、约束生成和分层校验，到版本迁移、有限修复与安全执行。

• 模型选型与成本：寻找满足约束的最小可行方案

  从任务分布、强模型上界和多维门禁，到每成功任务成本、帕累托前沿与退出策略。

• 检索与语义搜索

  从知识库里找出最相关的少量内容，喂给模型作答

• 可观测性与追踪：重建一次 AI 请求为何得到这个结果

  用 trace、span、版本、质量信号和最小化数据，把“偶发答错”变成可定位、可回放、可回归的问题。

• 数据漂移与持续监控：分布变化何时真的伤害系统

  从 P(x)、P(y) 与 P(y|x)，到 PSI、延迟标签、代理指标、切片告警和安全响应。

• 幻觉 Hallucination

  流畅、自信、却是编的——为什么这是结构性的，而不是「再大一点就好」

• AI 隐私：沿数据流控制可识别性、记忆与越权使用

  从采集、提示、检索、日志、供应商到模型权重，逐站理解个人数据怎样扩散，以及怎样用最小化、隔离和可验证删除缩小风险。

• 反思与自我修正：让失败证据改变下一次行动

  区分空泛自评、外部反馈和可验证修正，用最小改动、停止条件与版本化经验避免“再想一遍”制造更自信的错误。

• 自洽性：用多条独立推理路径投票

  理解采样多样性、答案聚合、相关错误、成本与置信估计，并区分多数一致和事实正确。

• 智能体规划：把目标变成可执行、可修订的状态图

  从目标、前置条件、产物和完成谓词理解计划—执行分离、滚动规划、检查点与局部重规划。

• 智能体框架：抽象运行循环，但不外包正确性与控制权

  从模型适配、工具注册、状态图、持久化和追踪，到抽象泄漏、版本迁移与逃生口，判断何时框架值得引入。

• Agent 记忆：可写、可找、可纠正的外部状态

  把会话上下文、工作状态、情景记录和长期事实分开，理解写入、整合、检索、遗忘、冲突与隐私治理。

• 代码生成 / AI 编程

  让模型写代码，从补全一行到实现整个功能

• 多智能体系统：用边界、并行与独立验证组织复杂任务

  从任务依赖图、通信拓扑和共享状态，到关键路径、移交损失与同源错误，判断何时多智能体真的优于单智能体。

• 人在回路：把稀缺的人类判断放到能改变风险的节点

  从风险分层、升级阈值、审核界面和队列容量，到自动化偏见与反馈采样，设计真正降低伤害的人机闭环。

• 工作流编排：用持久状态和确定性控制承载概率模型

  从 DAG、状态机和持久执行，到幂等、重试、补偿、版本迁移与人工任务，建立可恢复、可审计的 AI 流程。

• 流匹配：直接学习把噪声连续运输到数据的速度场

  从概率路径、条件速度和边缘速度，到直线路径、ODE采样、数值误差、配对设计及与扩散/连续流的关系。

• 变分自编码器 VAE：用可采样的概率潜空间压缩数据

  从编码分布、重参数化和ELBO，到KL—重建权衡、后验坍塌、潜空间插值和生成质量边界。

• 生成对抗网络 GAN：让生成器在动态判别对手中学习数据分布

  从极小极大博弈、最优判别器和JS散度，到非饱和损失、模式坍塌、训练振荡、Wasserstein距离与评测边界。

• AI 内容检测与溯源：区分统计猜测、水印信号和签名来源

  从基率、ROC和校准，到模型指纹的分布漂移、鲁棒水印、C2PA式签名清单、链式编辑与“无信号不等于真人创作”。

• AI 红队测试：用威胁模型系统寻找可造成真实影响的失败链

  从资产、攻击者和攻击面，到测试用例、证据、修复回归与剩余风险，理解红队为何不是收集几条越狱提示。

• 数据投毒：攻击者怎样用少量训练信号改变模型的特定行为

  区分可用性破坏、定向错分、干净标签攻击和后门，从污染率与梯度影响一路追到数据谱系、训练检测和触发器评测。

• 对抗鲁棒性：在明确扰动集合内寻找最坏情况，而非宣称模型“抗攻击”

  从决策边界、FGSM/PGD、鲁棒优化和认证半径，到自适应攻击、分布外变换与系统级损失控制，理解保证的适用域。

• 对齐 Alignment

  让模型的行为，符合人类的意图与价值观

• 推理模型

  把更多训练与推理时算力用于搜索、验证和修正，换取难题准确率

• 重排 Reranking：在高召回候选中做精细相关性判断

  理解双塔召回、交叉编码器、late interaction、LLM 重排和位置偏差，并设计 Recall@k 到端到端答案的评测。

• 高级 RAG：让检索成为可诊断、可迭代的证据流程

  从查询改写、混合召回、重排、多跳、纠错检索和答案引用理解何时需要升级基础 RAG。

• 可控生成：把“像什么”拆成语义、结构、身份与约束的多通道条件

  从条件概率和classifier-free guidance，到边缘、深度、姿态、分割、参考图、多条件冲突、控制强度与可验证控制。

• 音频生成：在波形、频谱与离散声码之间建模时间结构

  从采样率、神经编解码器和多码本token，到自回归/扩散生成、文本与旋律条件、长程音乐结构及主观评测。

• 奖励黑客：系统完成了指标，却背离了真正目标

  从目标与代理指标的缝隙出发，识别规格博弈、评审器过拟合和反馈篡改，并用独立评测与分层防线降低风险。

• 代码执行与沙箱：让模型计算，但不把主机交给它

  理解生成—执行—观察闭环的能力来源，以及进程、文件、网络、资源、凭据与人工授权组成的隔离边界。

• 计算机使用智能体：在观察、动作与状态验证之间闭环

  从截图、DOM与可访问性树的动作接地，到焦点、幂等、权限和恢复，理解为什么“会点按钮”远不等于可靠完成任务。

• 约束解码：用自动机把非法 token 概率置零

  从 JSON Schema、文法状态和 tokenizer 边界，到死路、复杂度、流式输出与语义校验。

• 流式输出：把一次生成变成可取消、可恢复的事件协议

  从 token、UTF-8 字节块与 SSE 事件，到 TTFT、背压、结构缓冲、安全审查和最终提交。

• AI 部署：把离线能力变成可容量化、可灰度、可回滚的服务

  从运行位置、排队与批处理，到版本发布、幂等副作用、降级和事故响应。

• 分布式训练：沿数据、张量、流水线和状态四个轴拆分

  从全局批量与 all-reduce，到张量并行、pipeline bubble、ZeRO/FSDP、3D 并行和故障检查点。

• 世界模型：在内部状态中预测行动后的世界

  从状态表示、转移与奖励模型，到想象滚动、模型预测控制、不确定性和模型利用，理解“在脑中试走”怎样帮助又怎样误导智能体。

• 中间迷失：上下文放得下，为何模型仍可能找不到？

  理解长上下文中的位置效应，学会用受控实验测量它，并用检索、重排和结构设计降低关键证据被忽略的概率。

• 模型家族：从信息流与训练目标理解能力边界

  不背品牌榜单，而是用架构、目标、模态与产品层四个轴，判断一个模型为什么擅长某类任务。

• 模型合并：在共享坐标系里组合权重增量

  从检查点平均、模型汤和任务向量，到置换对齐、符号冲突、TIES/DARE、系数搜索与安全回归。

• 混合专家 MoE：让每个 token 只激活少数前馈网络

  从 top-k 路由与加权输出，到负载均衡、容量溢出、all-to-all、专家专化和推理批处理。

• 采样与解码参数：从 logits 到最终序列

  用一组可手算的候选分布串起 temperature、top-k、top-p、重复惩罚、停止条件与随机种子，理解每个旋钮改变哪一步、不能保证什么。

• 思维树 ToT：在多个中间方案间搜索与回溯

  理解状态、候选生成、价值评估、BFS/DFS、剪枝和搜索预算，并区分探索空间扩大与答案正确。

• 无监督学习：没有人工标签时，结构从假设中来

  用聚类、降维、密度估计和生成建模理解“没有标准答案”的目标设计、非唯一性、伪结构与验证。

• Agent 身份、权限与密钥管理

  模型提出意图，受控执行层证明谁能对什么做哪件事

• AI 编程工具：从仓库理解到补丁验证的证据闭环

  从搜索、调用链定位和最小编辑，到测试、差异审查、工作树保护与安全回退，理解仓库级智能体为何不只是代码生成。

• ReAct：让推理、行动与观察形成闭环

  用外部证据修正假设，而不是让一条推理链凭空走到底

• MCP 架构：让 Host 在隔离边界内连接外部能力

  从 Host–Client–Server、JSON-RPC、能力协商与三类原语，理解 MCP 标准化了什么，以及授权与执行安全仍由谁负责。

• 智能体技能：把重复任务封装成可发现、可验证、可治理的能力包

  从触发描述、渐进披露、脚本与资产，到选择混淆、权限、版本和回归，理解技能与提示、工具和工作流的边界。

• AI Agent

  从「一问一答」到「给个目标、自己一路做完」

• 大语言模型 LLM

  从「预测下一个词」到「像助手一样对话」

• 偏见与公平：先选择要保护的关系，再计算群体差异

  用同一招聘案例理解代表性偏差、标签偏差、代理变量、人口统计平等、均等机会、校准及其不可兼得边界。

• RLHF 与偏好对齐：把“人更喜欢什么”转成可训练信号

  从示范数据、偏好比较、奖励模型到策略优化，理解 RLHF 在优化什么，以及它为什么不能等同于“让模型绝对安全”。

• 上下文压缩：在 token 预算内保留决策所需信息

  理解截断、摘要、抽取、检索与提示压缩的有损本质，并设计不可丢约束、来源追踪和压缩回归。

• 思维链 CoT

  让模型先写出一步步推理，再给答案——复杂题上更准

• 过拟合：模型怎样把有限样本的偶然性误当成规律

  从经验风险与未知风险的分离开始，读懂训练/验证曲线，识别泄漏、重复与调参污染，并理解容量、双下降和大模型记忆的边界。

• 强化学习：从延迟反馈中学习决策策略

  用 MDP、回报、价值函数、Bellman 方程、探索与策略梯度理解 Agent 如何在交互中优化长期结果。

• 梯度下降：方向、步长与噪声怎样共同决定学习

  从一维斜率和方向导数出发，手算一次更新，再看学习率、曲率、mini-batch、动量与 Adam 为什么改变训练轨迹。

• 多模态

  让一个模型同时看懂图、听懂声、读懂字

• 正则化：用可解释的偏好约束模型怎样学

  从 L2/L1、AdamW、Dropout、数据增强与早停出发，理解参数、表示、数据和训练路径四类约束怎样改变泛化，而不是把正则化当成一个万能旋钮。

• 声音克隆

  把“说什么”和“像谁说”拆成两种条件，再用可懂度、自然度、身份相似度与授权共同验收

• Logprobs 与置信度：模型偏好不等于答案可信

  从 token 对数概率、序列似然、校准和选择性预测理解何时 logprob 有用，以及分词与语义等价如何误导阈值。

• 提示工程

  设计输入的措辞与结构，让模型稳定产出你想要的结果

• 模型评测与基准：把“更强”变成可复现证据

  从估计对象、采样预算和 pass@k，到污染、裁判偏差、置信区间与发布门槛。

• 提示缓存：复用共同前缀的 KV 计算

  从最长共同 token 前缀、KV 占用与命中价值，到提示排序、路由亲和、失效和租户隔离。

• 超分辨率：从退化观测反推高分辨率，不等于找回真实细节

  从模糊—降采样—噪声模型、像素损失与感知损失，到GAN/扩散先验、盲超分、幻觉边界和面向任务评测。

• 语音系统：在文字、语言内容、说话人身份与声学波形之间转换

  把语音识别、语音合成和声音克隆放到同一管线，理解声学特征、对齐、声码器、流式延迟、WER及身份授权。

• 工具调用 / 函数调用

  给只会说话的模型，接上一双能查、能算、能做事的「手」

• Agent 循环

  把一次回答变成可观察、可校验、能停下来的状态机

• 文档切分 Chunking：决定检索系统的证据单位

  理解固定长度、结构、语义与父子切分，处理重叠、上下文丢失、表格代码和嵌入预算。

• 引用与证据对齐：把每个可核查主张连接到最小充分原文

  从原子主张、稳定锚点和蕴含判断，到引用正确性、完整性与来源质量，建立真正可核验的回答。

• 知识图谱：把身份、关系、时间与证据组织成可查询事实

  从本体、实体解析和时态边，到路径检索与 GraphRAG，理解图何时优于相似度、又怎样传播错误。

• RAG 检索增强生成

  回答前先检索相关资料，让模型「开卷作答」而不是凭记忆瞎编

• 扩散模型

  学习「从一团噪声一步步去噪」，把图像「显影」出来

• LLM 应用评测：测量整条系统是否完成真实任务

  把业务目标拆成可观察属性，定位检索、生成、工具与流程各自造成的失败。

• 训练数据治理：让模型所学内容可追溯、可审计、可处置

  从来源与授权、谱系、过滤去重和配比，到污染、删除请求、训练快照与事故响应。

• 不确定性与校准：让“80% 把握”真的约等于 80% 正确

  从置信分数、可靠性图和 ECE，到选择性预测、拒答阈值与分布漂移。

• 护栏 Guardrails：用纵深控制限制概率系统的损失半径

  从输入、上下文、输出、工具和运行时五层控制，到阈值成本、策略组合和故障注入，理解护栏能保证什么、又不能保证什么。

• 提示注入

  把恶意指令藏在模型会读到的内容里，劫持它的行为

• 缩放定律：用幂律规划参数、数据与算力

  从 log-log 直线、边际收益递减到计算最优分配，再到数据质量、能力阈值与全生命周期成本。

• 上下文学习

  不改一个参数，只靠提示里的几个例子就学会新任务

• 模型可解释性：从输入归因到因果干预，区分故事、证据与机制

  比较特征归因、探针、反事实、激活替换、稀疏特征和电路分析，理解忠实度、稳定性、完备性与“可读不等于真实”。

• 越狱攻击：用对抗指令寻找策略边界，但系统风险取决于能否触达资产

  从直接/间接、多轮、编码、后缀优化与多模态越狱，到威胁模型、基率、纵深防御、自适应红队和正常请求误拒。

• 核方法与 SVM：只算相似度，也能学习非线性边界

  从最大间隔、对偶问题与核技巧理解线性、RBF、多项式核的能力、超参数和规模限制。

• 模型路由与级联：把不同难度请求分给足够的能力

  从直接路由、先小后大和质量差预测，到升级阈值、级联延迟、公平风险与在线再校准。

• 向量数据库：在大规模嵌入中做近似近邻检索

  理解向量、距离度量、HNSW/IVF/PQ、过滤、更新与一致性，并把索引 Recall、延迟和端到端 RAG 分开。

• 残差连接：给深层变换保留一条恒等信息高速路

  从 y=x+F(x) 的前向增量与 I+JF 的反向雅可比开始，理解深度退化、投影捷径、分支尺度、零初始化以及 Transformer 的 Pre-Norm/Post-Norm。

• 状态空间模型 SSM：用可控动态系统压缩长序列

  从连续状态方程、离散化与卷积等价，到选择性扫描、线性复杂度、稳定性和随机访问边界。

• 合成数据：生成候选容易，增加有效信息很难

  从教师示范、程序真值、自训练和增强，到验证器选择偏差、覆盖配比、反馈回路与模型坍缩。

• 推理时计算与验证器

  不改权重，靠采样、搜索、工具与检查把额外计算换成更可靠的答案

• 视频生成：联合建模空间外观、时间运动与跨镜头状态

  从视频潜变量、时空注意力和扩散，到图生视频、级联超分、身份一致、物理失败、长视频规划与时序评测。

• 信息论与熵：从概率到编码代价

  先分清真实分布 P 与模型分布 Q，再从自信息、熵逐步推出交叉熵、KL 散度和困惑度。

• AI 治理：把风险判断变成有人负责、可留证、可停止的制度

  从系统清单、风险分级和责任矩阵，到上线门、变更审批、事件响应与退役，理解治理如何把原则落到生命周期证据。

• 图像生成

  把一句话变成一张没人拍过的图

• 推理优化：先定位 prefill、decode、KV 还是排队瓶颈

  从 TTFT/TPOT、算术强度和连续批处理，到 PagedAttention、FlashAttention、量化、推测解码与真实负载验收。

• MCP 模型上下文协议

  让任何工具和数据，都能用同一个标准接口插进 AI 应用

• 生成式图像编辑：改变目标属性，同时证明其余内容被保留

  从遮罩重绘、img2img噪声强度、注意力控制和指令编辑，到反演、局部性、身份一致、可逆性与编辑来源。

• Transformer

  把注意力包装成可深度堆叠、可并行训练的标准积木

• 监督学习是什么？理解标签、训练与预测的基础逻辑

  从「输入 + 目标」样本中学习，并在未见数据上做出可靠预测

• 神经网络

  从「为什么需要」到「如何通过反向传播学会」