为了打CTF线下赛试着搞了一个本地大模型。

一开始,我希望本地模型能够像agent一样,读取题目、调用工具、分析输出,然后不断尝试直到解出题目。实际使用时,问题很快暴露出来:

  • 工具失败后,模型可能换一个看似合理、实际上不存在的路径继续尝试;
  • 面对一段 Base64 或空的 HTTP 响应,模型可能编出一个符合格式的 flag;
  • 一次性塞入大量工具输出和技能文档,会占用有限的上下文;
  • 模型有时会不断给出推测,却没有产生新的验证结果。

这些问题并不只靠一句“不要幻觉”就能解决。我的思路是把系统拆成几层:模型负责提出和选择动作,工具负责执行,扩展负责约束流程、记录证据并控制输出。对于不适合全自动判断的步骤,再让用户参与选择或亲自验证。

项目使用的主模型是 Qwen3 14B 4-bit,通过 MLX 在 Apple Silicon 上提供本地推理;Pi 负责会话和工具调用,flag-loop.ts 承担 CTF 任务相关的运行时约束。

整体架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
flowchart TD
U[用户:题目、文件或目标] --> P[Pi 会话与工具调度]
P --> R[系统规则 APPEND_SYSTEM.md]
P --> I[轻量技能索引 ctf-index]
P <--> M[本地 Qwen3 14B 4-bit 服务]
P --> G[flag-loop.ts 运行时约束]
G --> D{运行模式}
D -->|自主| T[调查工具]
D -->|人机交互| A[提出方案 → 用户选择]
A --> T
D -->|人类验证| H[提出方案 → 用户自行验证并输入结果]
T --> O[工具输出]
H --> O
O --> E[提取候选与证据过滤]
E --> P
P --> S[submit_flag 校验]
S -->|存在于本任务证据| F[允许给出已核对的候选]
S -->|未通过| P

核心循环:观察、假设、调用、更新

这里以 Tool Calling 为主循环:模型通过结构化参数调用工具,Pi 执行后再把结果交给模型。分析思路仍然包含 ReAct 式的“观察和行动”,但不要求模型在上下文中反复输出长篇推理。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
sequenceDiagram
participant U as 用户
participant P as Pi / 扩展
participant M as Qwen3 14B
participant T as 工具
U->>P: 输入任务并选择模式
P->>M: 任务、规则与当前上下文
M->>P: 短观察 + 假设 + 一个工具调用
P->>P: 检查模式、重复调用和路径规则
P->>T: 放行的工具调用
T-->>P: 原始输出或错误
P->>P: 提取证据并压缩长输出
P-->>M: 返回工具结果
Note over M,P: 根据新观察选择下一步;没有证据时不能宣布成功
M->>P: submit_flag(候选)
P-->>M: verified=true 或拒绝原因

这里有几个具体约束:

  1. 每轮只允许一个工具调用。 模型应等到结果返回,再决定下一步,降低多个动作之间缺少反馈的问题。
  2. 简短记录当前观察和一个可测试假设。 长篇推演会消耗上下文,也不一定增加可验证信息。
  3. 把错误视为观察。 命令失败后先检查实际目录或工具帮助,不应凭空构造另一个系统路径。
  4. 阻止紧接着的相同调用。 当前实现对 bash、read、grep、find 比较工具名和参数;它只阻止紧邻的完全相同调用,不能识别语义等价的命令或更长周期的循环。
  5. 没有新证据时继续寻找可验证动作。 扩展会清理旧的循环提示,用较短的反馈促使模型改变输入或方法。

这不是一个能够保证解题的通用搜索算法。它主要把“先验证,再下结论”放到每一轮执行中。

Agent 内部设计:把决策和执行拆开

从实现角度看,这个 Agent 并不是一个独立的“大模型进程不断运行”。Pi 管理会话,并在输入、工具调用、工具返回和回合结束等节点触发事件。扩展订阅这些事件,维护少量任务状态,在关键节点决定放行、拦截或继续。模型只通过消息和工具接口参与循环,状态的维护与部分检查由扩展完成。

可以把它理解为四个相互配合的部分:

  1. 决策层:模型读取题意、观察和工具描述,选择下一项验证;它负责提出动作,但不直接修改扩展中的证据集合。
  2. 调度层:Pi 接收结构化工具调用、执行工具、保存会话并将结果反馈给模型。
  3. 控制层:扩展根据任务状态和运行模式检查调用,并在回合结束时判断是否需要继续。
  4. 知识层:技能索引指向各题型的方法资料,由模型在需要时读取。技能提供可能的方向,实际判断仍需要题目输出支持。

这种分层的好处是可以分别检查错误发生在哪里:模型可能提出了不合理假设,工具可能没有安装,运行时规则可能误拦截,用户也可能提供不完整的观察。最终回答的可信度取决于整条链路,而不是模型说得是否自信。

任务状态:扩展究竟记住了什么

目前 flag-loop.ts 用进程内变量保存状态。

状态 作用 边界
ctfTaskActive 标记是否启用 CTF 任务约束 由输入中的关键词、URL 或 IP 等启发式识别;普通任务可能被误识别,CTF 任务也可能漏识别
runMode 保存 auto、assisted 或 verify 模式主要在识别到新任务时选择,并非任意输入都会重新切换
evidenceFlags 保存从工具结果提取且未被过滤的候选 保存的是字符串集合,不包含完整的来源、时间、命令或可信度
verifiedFlags 保存通过 submit_flag 本地检查的候选 不代表比赛平台已确认
rejectedCandidates 保存因不在证据中而被拒绝的候选 当前任务内同一候选之后仍会被拒绝;不是带原因和时间的历史记录
writtenPaths 记录通过 write、edit 调用涉及的路径 依赖路径字符串匹配,不能覆盖所有文件写入方式
lastToolSignature 保存最近一次指定工具的名称和参数签名 只检查紧接着的相同调用,参数用 JSON 序列化比较
toolCallsThisTurn 记录当前回合是否已有工具调用 用于限制单回合多次调用;被拦截的调用也可能占用该回合计数
stalledTurns 记录连续没有工具结果的回合 用于调整续轮提示,并非任务进展的全面评分
approvedSignature 保存人机模式用户选中的工具和参数 用于下一次精确匹配;它不是通用的权限管理系统

会话开始时扩展清空这些状态。识别到新的 CTF 输入时,会重置flag相关集合、已写路径、最近调用和批准动作,并选择运行模式。这里有一个值得注意的设计取舍:识别新任务的规则是启发式的,如果用户在同一题的后续消息中再次输入触发关键词,可能被当作新任务并清空已有证据。因此,当前任务边界不能等同于严格的题目 ID;正式使用中需要留意重新识别带来的影响。

生命周期:一次请求穿过哪些事件

下面是与现有扩展相对应的事件顺序;它是行为说明,不是逐行复制的源代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
session_start
清空扩展状态,默认模式设为 auto

input
若输入命中 CTF 启发式:
解析显式模式,或在有界面时让用户选择
初始化本任务证据与控制状态
人机 / 人类验证模式追加中文协作提示

turn_start
将本回合工具调用计数清零

tool_call
如果当前 CTF 任务激活:
检查单回合工具数量
检查可识别的 make -f 文件路径
根据模式检查是否已批准或是否禁止自动调查
记录 write / edit 的路径
检查紧接着重复的工具调用

tool_result
在压缩前提取符合格式的候选,并做启发式过滤
记录指定调查工具的调用签名
对过长文本结果做头尾压缩

turn_end
对活跃 CTF 任务的本地模型已完成回合进行检查
如果已有工具结果,交由正常工具循环继续
如果最终文本包含已验证且有证据的候选,结束任务约束
否则清理部分旧反馈,注入短提示并请求继续

这里有两个容易忽略的区别。第一,工具执行失败通常也会产生工具结果,因此“有结果”不等于“有进展”。第二,连续三轮结束时没有工具结果会暂停自动续轮,用户重新输入可继续;但重复执行失败命令仍可能产生工具结果,这个计数不能识别所有无进展情况。

下面的状态图是对事件行为的概念化表达,并非代码中存在一个同名状态机:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
stateDiagram-v2
[*] --> 等待输入
等待输入 --> 任务激活: 输入命中 CTF 规则
任务激活 --> 等待模型: 设置模式并清空任务证据
等待模型 --> 调用检查: 生成工具调用
调用检查 --> 等待模型: 调用被拦截,返回原因
调用检查 --> 等待用户: 人机模式提出候选
等待用户 --> 工具执行: 用户选择并批准精确动作
等待用户 --> 等待模型: 用户手动验证并输入观察
调用检查 --> 工具执行: 自主模式 / 已批准动作
工具执行 --> 结果处理: 返回输出或错误
结果处理 --> 等待模型: 提取候选并返回结果
等待模型 --> 完成检查: 模型尝试结束
完成检查 --> 等待模型: 没有通过本地验证的候选
完成检查 --> [*]: 输出包含已验证候选

工具调用的契约:一个动作必须能够产生观察

模型收到的规则要求每次选择一个工具,填写该工具所需的结构化参数。一个有价值的调用应当说明:当前观察是什么、要检验哪个假设、结果中什么信号会改变后续决策。它可以很短,但必须能连接到下一步。

例如,看到一个未知文件时:

1
2
3
4
观察:附件目录中有一个无扩展名文件。
假设:它可能有可识别的文件格式。
动作:调用工具检查文件类型与文件头。
结果解释:如果有明确签名,按对应格式分析;如果没有,只能说明当前方法未识别。

如果结果是 data,它支持“常见签名未识别”这个观察,并不支持“文件一定加密”或“得到 flag”。后续动作应围绕长度、结构、题目描述及其他附件的关系继续验证。模型可以提出多个假设,但每个假设最好对应不同的可观察结果,避免把同一个无信息命令换个说法重复执行。

在实现上,扩展只比较 bash、read、grep、find 的工具名与参数签名。比如同一条 file 命令紧接着再次运行会被拦截,而命令里额外加空格、换一个等价命令,或者隔着其他工具调用再重复,未必会被识别。更完善的进展检测需要记录动作、结果摘要和假设之间的关系;当前项目没有实现这一套语义去重。

两种人工参与的执行协议

两种人工模式共用 propose_actions,但对“用户选择”赋予不同含义:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
sequenceDiagram
participant M as 模型
participant E as 扩展
participant U as 用户
participant T as 工具
M->>E: propose_actions(候选假设、工具、参数、预期信号)
E->>U: 显示可选方案
U->>E: 选择一项
alt 人机交互
E-->>M: 返回所选工具及参数并保存签名
M->>E: 发起相同工具和参数的调用
E->>T: 签名匹配后放行
T-->>M: 返回工具结果
else 人类验证
E->>U: 请求手动验证并输入观察
U->>E: 输入观察结果
E-->>M: 返回用户输入的观察
Note over E,T: 扩展阻止列出的调查工具自动执行
end

这里的 human_verified 字段是交互状态标记,而不是对真实性的密码学证明。用户可能在自己的终端、浏览器或其他工具里完成验证;模型看到的是用户输入文本。当前输入会截取前 8,000 个字符,因此过长结果可能丢失末尾内容。用户应尽量提供关键原文、执行条件和错误信息,并说明哪些是观察、哪些是个人判断。

人机模式的批准与工具调用使用精确的序列化签名匹配:即使模型的动作语义相近,只要参数不一致也会被阻止。这可以减少“用户选了 A,模型实际执行 B”的情况,但对象键顺序等表示差异也可能导致匹配失败。此外,界面候选标签主要展示编号、假设和工具名,实际参数的可见性取决于交互界面与模型输出,不能假设用户已经审阅了所有命令细节。

终止条件与失败路径

成功路径需要经过候选提取、submit_flag、以及最终输出检查。扩展要求最终消息中包含同时存在于证据集合和已验证集合中的候选;若不满足,它可能清除带有未验证旗标的助手消息,并用短提示继续循环。

失败路径则更复杂:网络不可达、工具未安装、模型不遵守工具协议、UI 取消、题目没有常见格式的旗标,都会造成任务不能正常完成。当前实现对于界面取消返回提示,让模型重新提出方案;对于缺少 UI 的候选选择则返回失败信息。扩展会在连续三轮没有工具结果时暂停,但没有对所有外部阻塞建立独立终止状态,所以仍需保留人工中断手段。

设计上的下一步可以是增加显式的 blocked / completed 状态、有限的失败预算、来源可追踪的证据记录,以及经用户确认的任务边界。这些都是尚未实现的改进方向,不应算作当前功能。

三种模式:自主、确认执行、人工验证

不是每道题、每一步都适合自动执行。因此,同一套 Agent 保留三种工作方式:

模式 模型做什么 用户做什么 谁执行调查
自主做题 直接选择下一次工具调用 提供任务,观察进展 Agent
人机交互 调用 propose_actions 提出候选 选择一个方案 Agent 执行选中的精确工具和参数
人类验证 提出候选并等待观察结果 选择方案,自行验证,输入结果 用户

输入任务时可以使用 [自主]、[人机] 或 [人类验证] 指定模式;没有显式指定时,交互界面会提供选择。没有界面时当前实现默认自主模式。人机交互与人类验证模式要求使用中文描述观察、假设和方案;命令、代码、路径和目标原文保持原样。

propose_actions 的候选项包含方案编号、假设、工具、工具参数和预期信号。提示要求模型提供 2–4 项;当前代码会筛选可执行工具并最多保留 4 项,并不严格保证至少有两项。这种结构让用户能围绕“验证什么、看到什么才有意义”做选择,而不是只看到一句笼统的“继续扫描”。

如何阻止编造 flag

最典型的错误是把“看起来像答案的东西”当成答案。例如,运行 base64 得到一个字符串,只说明文件被编码成了 Base64;这既不是解码,更不能证明字符串是 flag。空的 HTTP 响应、200 状态码或命令退出码为 0,也都不能单独证明解题成功。

当前设计将旗标处理分为两步:

1
2
3
4
5
6
7
8
flowchart LR
O[工具输出] --> X[提取符合格式的候选]
X --> C[过滤明显的自造证据]
C --> E[保存本任务候选证据]
M[模型提交候选] --> S[submit_flag]
E --> S
S -->|格式和逐字匹配通过| V[verified=true]
S -->|缺少证据或格式不符| R[拒绝并继续调查]

扩展识别常见的 flag{...}、...ctf{...}、htb{...}、pico{...} 格式,并拒绝部分占位值。submit_flag 要求提交单个完整候选,且该值必须逐字存在于当前任务已收集的证据中。这里的 verified=true 表示通过本地格式与出现位置检查,不是向比赛平台提交后的正确性证明。

为了减少明显的证据污染,当前实现不会把 submit_flag 的输出当成新证据;候选直接出现在工具参数中时也会排除。此外,对某些使用 echo、printf 或 print 的 Bash 输出,以及扩展记录过的 write/edit 路径后续读取结果,会做启发式过滤。

这些规则有实际边界:

  • 格式识别可能漏掉比赛使用的其他旗标格式,也可能匹配到题目中的示例;
  • 过滤依赖工具名、参数和简单字符串规则,无法证明输出没有被其他命令或文件污染;
  • 人类验证模式的输入通过 propose_actions 的工具结果返回,因此其中符合格式的字符串也可能进入候选证据;它的来源是用户输入,并非系统独立采集的原始输出;
  • 连续相同候选被拒绝后会被记入拒绝集合;实际比赛仍需结合题目和平台反馈判断。

换句话说,这是一道降低幻觉风险的门,不是形式化的真实性证明。需要更强证据链时,还应记录候选的来源、命令、时间和上下文,并在最终结果中展示。

工具失败之后:不要猜路径

曾经遇到过这样的行为:模型在编译一个项目时,连续尝试了多个并不存在的系统 Makefile 路径。出错信息已经说明文件不存在,但模型没有先查看项目目录,而是继续猜测。

当前系统从两侧约束这类问题:系统提示要求失败后先检查目录、文件和帮助;扩展则会对能识别的 make -f <路径> 做存在性检查,不存在时阻止调用并要求检查项目目录。

这项检查只处理代码正则能识别的命令形式,并按照 Pi 的当前工作目录解析路径。复杂 shell、变量展开或命令中的 cd 等情况可能超出它的判断范围,因此不能把它视为完整的 shell 解析器。它的价值是拦截一类已经出现过的错误,而不是保证所有构建命令都正确。

如何控制上下文消耗

本地 Qwen3 14B 的配置上下文窗口为 16,384 tokens。上下文除了装题目和结果,还要留出空间给工具调用及模型回复,因此需要把信息按用途组织。

当前方案包括:

  • 技能索引:启动时只配置轻量的 ctf-index,按题型再读取需要的技能文档,避免一开始就加载全部细节。
  • 短决策:要求模型围绕观察、假设和下一步说话,减少反复生成长篇推演。
  • 工具结果压缩:单个文本块超过 12,000 字符时保留开头和结尾,并附带识别到的旗标形态字符串。中间内容可能丢失;需要详细分析时应重新做有针对性的查询。
  • 旧结果的上下文投影:活跃 CTF 任务中保留最近四条调查结果;更早的 bash、read、grep、find 结果,文本块超过 2,400 字符时,发送模型前仅保留前后各 900 字符、截断说明及最多 6 个未验证的旗标形态字符串。此步骤不改写 Pi 已保存的消息,但前述 12,000 字符的工具结果压缩可能已经丢失原始中段。
  • 空转暂停:连续三轮没有工具结果时暂停自动续轮;用户再次输入后可继续。重复失败但仍产生工具结果的情况不受该规则覆盖。
  • 会话压缩:Pi 设置启用 compaction,配置预留 4,096 tokens、保留最近 8,000 tokens。实际压缩结果仍取决于运行时和会话内容。
  • 清理循环反馈:扩展删除旧的自身提示;未验证且包含旗标形态字符串的助手消息会从后续上下文移除,降低模型反复复制猜测的机会。

手动执行 /compact 保留题目目标、已确认事实及来源、失败尝试、未验证假设和下一步;不要把推测写成事实。 可以让 Pi 的摘要更聚焦。摘要由模型生成,可能遗漏信息或混淆事实,不能充当独立证据记录。