-
微调、提示词与 RAG：三条路线的成本与效果边界
三者改动的是三个不同的东西 把一次生成写成条件分布 P(y | x; θ)，x 是输入上下文，θ 是权重。三条路线各自动一个变量： 路线 改动对象 模型权重 知识来源 提示词工程 x 不变 靠上下文现场提供 RAG x（拼接检索结果） 不变 外部库，运行时拉取 微调 θ 改变 烘进权重，静态快照 这张表是后面所有判断的基础。提示词和 RAG 都不碰权重，所以它们无法让模型"学会"任何东西——只能把
许既白
-
模型评测怎么做：从基准测试到人工评估
公开基准的污染问题 公开基准的题目来自互联网：论坛、问答社区、教科书习题、竞赛真题。训练语料的来源也是互联网。这两批数据大面积重叠，于是出现数据污染——模型在训练时见过测试题，甚至见过题目和答案的配对。 污染的形态比"原题照搬"更难查。常见的是改写版本：题目被翻译、被同义转述、被换个数值重新表述，答案逻辑完全一致。用词面匹配去查重基本查不出来。另一种是模板记忆：基准里的题目共享某种格式，模型学会了
栈外游
-
大模型入门：Token、上下文窗口与温度参数
用大模型做开发，最先撞上的不是模型能力，而是三个"物理约束"：Token、上下文窗口、采样参数。它们分别决定了你的输入怎么被计费和截断、一次能塞进多少内容、以及输出到底稳不稳定。把这三个概念吃透，后面调提示词、搭 RAG、做 Agent 都会顺很多。 一、Token：模型真正"看到"的单位 模型不读字符，也不读词，它读的是 Token 。一段文本在进入模型之前，会先经过分词器（tokenizer）
AsyncLab
-
提示词工程实践：让 AI 输出更稳定的六个技巧
调提示词这件事，业余做法是"感觉不对就换种说法"，工程做法是把影响输出稳定性的变量一个个固定下来。下面这六个技巧不是什么秘籍，它们的共同点是： 减少模型需要猜测的空间 。模型猜测越少，输出方差越小。 每个技巧后面都附了可直接复制改造的提示词片段。 一、角色与任务边界：先说清"你是谁、要做什么、不做什么" 模型对开头几句话的权重很高。一个清晰的角色 + 任务声明，能立刻把输出分布收窄到你想要的范围。
Kael
-
提示词注入的原理与防护
根因：指令和数据共用同一个通道 传统软件里代码和数据界限清晰。SQL 用参数化查询把值和语句分开，操作系统用内存段权限区分可执行与可写，浏览器用转义把用户输入变成纯文本。这些都是硬边界，由系统机制保证。 语言模型应用里没有这种边界。系统指令、用户输入、检索回来的文档、工具调用的结果、上传文件解析出的文字，全部拼成同一条 token 序列喂给同一个模型。序列里没有任何类型标记指明"这一段是指令，那一
Corin
-
把 AI 装进桌面：本地离线推理在工具类软件里的实践
大模型的叙事几乎都围绕云端 API 展开，但对桌面软件来说，"把推理能力装进本地"这个方向越来越有讨论价值。不是所有软件都需要一个聊天框，工具类软件对 AI 的需求形态、资源预算、可靠性要求都和聊天应用不一样。这篇文章聊聊我在做桌面工具时，对本地推理这件事的取舍思路。 一、本地推理的价值不只是隐私 提到本地推理，第一反应通常是"隐私"。隐私确实是核心理由之一——文件内容、代码片段、业务数据不需要离
VectorQ
-
从零实现一个最小可用 RAG 系统
完整链路 RAG 不是"接个向量库"这么一件事，它是一条有八个环节的流水线，任何一环掉链子都会体现在最终答案上： 文档解析 → 切块 → embedding → 入库 → 检索 → 重排 → 拼装 → 生成 解析环节最容易被低估。PDF 转文本会丢掉表格结构、把双栏排版读成左右交错、把页眉页脚混进正文。扫描件还得过 OCR。解析质量差，后面所有优化都是白做——检索到的原文本身就是乱的。 切块决定检
Bit 序章
-
本地跑大模型入门：量化、GGUF 与显存估算
把大模型跑在自己的机器上，动机通常就三类： 数据不能出内网 、 长期调用的 API 成本压不下来 、 离线环境也要能用 。这三条里任何一条成立，本地推理就值得认真考虑。 本地部署的技术门槛比调 API 高不少，但核心知识并不杂，主要就是三块：量化（把模型压小）、格式（把模型装进推理引擎）、显存预算（判断跑不跑得动）。把这三块理清楚，剩下的就是体力活。 一、量化：用精度换空间和速度 模型权重默认是浮
Soraya
-
AI Agent 初识：从对话到自主调用工具的距离
大模型对话接口本质上是"文本进、文本出"。用户问天气，模型只能给出一段看起来像天气信息的文字，它并不能真的去看一眼气象数据。Agent 想解决的就是这个断层： 让模型不仅会说，还会做 ——查数据库、调接口、读文件、执行脚本，把结果拿回来继续推理。 从"会聊天"到"会做事"，中间隔着的不是模型能力的跃迁，而是一套工程结构。这套结构好不好，决定了 Agent 是稳定工具还是不稳定玩具。 一、Agent
Moon 槐
-
向量检索索引原理：HNSW、IVF 与乘积量化
精确检索为什么撑不住 文本嵌入的常见维度是 768、1024、1536。在低维空间里，k-d tree 之类的空间划分结构能把最近邻查询压到对数时间；维度一高就失效——划分超平面几乎切不动数据，剪枝条件从不成立，实测退化成全表扫描，比裸暴力还慢（多了树遍历开销）。 更根本的问题是距离集中。设 x、y 各分量独立同分布，欧氏距离平方是 d 项之和，均值正比于 d，标准差正比于 √d，于是相对波动按
孟知微
-
AI 应用的可观测性：如何追踪一次模型调用
一个 AI 应用上线之后，最常被问到的两个问题是"这次调用为什么这么慢"和"效果怎么突然变差了"。传统后端服务在这两件事上有成熟答案，但模型调用链路把大部分既有假设都推翻了。 传统 APM 缺的到底是什么 APM 的核心抽象是：一个请求穿过若干服务，每个服务有耗时、状态码、错误率。这套模型在 LLM 调用上有四处失效。 成功不等于正确 。这是最根本的一条。一次模型调用返回 HTTP 200，输出流
白露
-
RAG 是什么：让大模型”开卷考试”的检索增强生成
大模型的知识来自训练数据，训练截止之后发生的事它不知道；企业内部的文档、代码规范、产品手册，它更不可能见过。更麻烦的是，当模型对某个问题"没有把握"时，它并不会停下来，而是顺着语言习惯把答案编下去——这就是幻觉（hallucination）。 RAG（Retrieval-Augmented Generation，检索增强生成）的基本思路非常朴素： 回答问题之前，先给模型发资料 。就像开卷考试，考生
Bit 序章
-
大模型推理加速：KV Cache、PagedAttention 与连续批处理
自回归解码在重复算什么 解码第 t 个 token 时，注意力要用到前 t 个位置全部的 K 和 V。朴素实现每个 step 把整个前缀重新过一遍网络，第 t 步的代价是 O(t)，生成 n 个 token 的总代价是 O(n²)。更浪费的是，第 t 步真正新算出来的只有第 t 个位置的 q、k、v，前 t-1 个位置的中间结果和上一轮完全相同。 于是把历史的 K、V 存下来，每个 step 只算
何遇
-
多模态模型入门：视觉编码器与文本对齐
ViT 把图像变成序列 卷积网络处理图像时保留二维结构，每一层的特征图还是 H×W×C。Vision Transformer 换了个思路：先把图像拆成块，让它在形式上变得和句子一样。 输入: H × W × 3 切块: P × P 大小的 patch，步长 P，共 N = (H/P) × (W/P) 块 展平: 每块 P·P·3 维 投影: 线性层映射到 d 维 → patch embedding
Kael
-
Transformer 架构拆解：注意力机制到底在算什么
点积是一次可微的软检索 把每个 token 表示成 d_model 维向量，一句话就是矩阵 X ∈ R^(n×d)。注意力层用三个可学习投影把它变成三份： Q = X W_Q K = X W_K V = X W_V 几何含义比公式更好用：K 是"我能被什么检索到"的标签，Q 是"我现在要找什么"的探针，V 是"命中之后真正取走的内容"。q_i 与 k_j 的点积衡量第 i 个位置想从第 j 个位置
VectorQ
-
结构化输出工程：让模型稳定产出 JSON
"请输出 JSON"为什么经常失败 在提示词里写"只输出 JSON，不要其他内容"，成功率取决于模型、任务复杂度和运气。失败模式很固定：前面加一句"好的，这是结果："、后面加一段解释、用单引号、末尾多一个逗号、字段值里出现未转义的换行或引号、字段名和要求的对不上。 原因在于自回归解码本身是无约束的。模型每一步从完整词表上采样，任何 token 都有非零概率。语法约束只存在于提示词里，是软性的语义引
Async 赵
-
模型压缩实战：蒸馏、剪枝与低秩分解的取舍
推理成本过高时，摆在面前的通常有三条路：蒸馏、剪枝、低秩分解。它们的名字常被并列提及，但改变的东西完全不在同一个层面。区分清楚"动的是什么"，是选择路线的第一步。 三条路线分别动的是什么 蒸馏改的是学习信号 。教师的输出分布成为学生的监督目标，学生用什么结构跟教师可以毫无关系。蒸馏本身不产生推理加速，加速来自你给它配了更小的学生。 剪枝改的是结构 。哪些权重、通道、注意力头还在，剩下的靠微调重新收
Moon 槐
-
embedding 模型使用要点：维度、归一化与相似度度量
调用一个 embedding 接口拿到一串浮点数，然后算余弦相似度排序——这条链路看起来简单，但线上效果不达标的检索系统，有相当一部分问题出在这几步的细节上，而不是模型本身的能力。 相似度由任务定义，不由模型定义 通用 embedding 模型的训练目标通常是"语义相关"：在同一批对比学习任务里，相关的句子对靠近，不相关的推远。但业务需要的相似关系未必是这一回事。 问答匹配 ：用户问题和标准问法要
Soraya