TRACE
南京大学 / Nanjing UniversityWebsoft
与研究海报一起，了解 TRACE

EMNLP 2026 Main · 已接收论文

从一支箭头，
读懂整张流程图。

TRACE: Triplet Recovery via Arrowhead-Centric Extraction for Flowchart Understanding

以箭头头部为视觉锚点，保留完整流程图作为上下文，逐条恢复「起点、条件、终点」三元组，再汇聚成可追溯的有向图。

阅读论文查看代码研究海报

Daozhu Dong1, Kaiwen Shi1, Dan Si2, Xiaoyu Hao2, Tong Liu2, Wenjie Zhang2, Gong Cheng1

1 南京大学   2 联想（北京）有限公司

输入流程图图像输出(起点, 条件, 终点)每条输出都能定位到对应箭头。
9评测基准
5视觉语言模型骨干
+22.81 ppBPMN-VLM F1 相对微调 E2E 的提升
98.17%FlowLearn 下游问答准确率

以上代表性结果使用 Qwen3-VL-4B；问答在 TextFlow 公开的评测子集上进行，具体设置见下文。

1动机

01 / 研究动机

为什么流程图里的连接关系，
如此难以恢复？

流程图的语义由连线的起点、条件和终点共同决定。节点漏检会传递到图重建；整图抽取又容易在细小、密集的连线中遗漏或反转方向。

检测 → 重建

一个节点漏检，就可能带来多条缺失或错误的边。

节点检测遗漏了 C 节点 / Detection misses node C漏检节点导致缺失或错误的连接 / Missing node produces missing or incorrect edges

整图 VLM 抽取

密集布局和细小箭头让逐条连接难以追踪，模型可能遗漏连线或反转方向。

海报原图：流程图经粉色箭头指向难以辨识连接的模型 / Original poster: flowchart and pink arrow pointing to a model struggling to recover connections

因此，我们把查询锚定到一个箭头头部，同时保留完整流程图作为上下文。

2方法

02 / 核心方法

局部的视觉锚点，
完整的全局上下文。

细小连线和密集布局让整图抽取容易遗漏或反转边的方向。TRACE 在每份完整图像中只标记一个箭头头部，让模型集中读取指定连接，同时保留周围信息。

1

合成数据与模型训练

解析原生流程图文件，自动获得箭头头部框与图像—三元组对，用于微调检测器和视觉语言模型。

2

检测与视觉标记

定位箭头头部并绘制高亮框。每次查询都使用完整流程图，保留全局上下文。

3

追踪与三元组汇聚

读取标记箭头对应的起点、条件和终点，将逐条输出汇聚成流程图的结构化表示。

TRACE 框架：原生流程图文件生成训练数据，箭头检测引导完整图像上的局部三元组抽取。
离线阶段合成数据并训练模型；在线阶段检测箭头头部并提取三元组。来源：论文图 1。

交互示例 · BPMN 订单履约

选择一个箭头，
查看对应三元组。

销售与物流分属两条泳道。核验订单后，有库存则打包并发货，否则取消订单。点击边按钮或图中的连线，蓝色框会定位箭头头部，同时显示连接关系和泳道归属。

自行绘制的 BPMN 方法示意，输出预先设定，不调用在线模型，也不作为基准测试结果。

下载 BPMN 源文件
订单履约 销售 物流 收到订单 核验订单 有库存？ 取消订单 已取消 打包订单 发货 已完成 是 否

开始/结束事件 · 任务 · 排他网关 · 泳道

小屏可横向滑动查看完整 BPMN 图。

提取出的三元组
端点的泳道归属
3实验

03 / 实验结果

从三元组恢复，
到流程问答。

九个基准覆盖手绘图、常规流程图、具有层级结构的 BPMN，以及不同复杂度的生成图。下表比较相同骨干下微调后的 TRACE 与整图端到端抽取。

三元组提取

Exact triplet F1, in percent. Fine-tuned TRACE and fine-tuned end-to-end extraction, paper Table 2.
评测基准端到端 F1TRACE F1差值

精确匹配 F1（%），来源：论文表 2。两种方法均经过任务微调。此处展示论文报告结果。下载结果表

下游推理

下游问答准确率（%）

下游问答准确率（%）
方法FlowLearnFlowVQA
Qwen3-VL-4B (ZS)66.8362.03
TextFlow + 真值文本88.3375.18
TRACE + 工具调用98.1775.78
真值三元组（上界）100.0078.46

推理骨干均为 Qwen3-VL-4B；TextFlow 输入真值 Mermaid 文本。公开子集包含 100 张 FlowLearn 和 197 张 FlowVQA 图像。来源：论文表 4。

+9.84 ppFlowLearn 问答准确率相对 TextFlow 的提升
4分析

04 / 深入分析

跨风格泛化

跨越不同领域，
TRACE 是否依然稳健？

在 8 / 9 个未见基准上，获得更高的 F1。

在八个基准上训练，测试被留出的第九个基准。TRACE 在其中八个上优于 E2E。

留一基准评测的精确匹配 F1（%）
评测基准E2E 留出TRACE 留出差值
FlowVQA87.2089.31+2.11
CBD83.6683.31−0.35
FC_A45.4661.38+15.92
FC_B57.2667.76+10.50
FlowLearn53.7765.93+12.16
BPMN-VLM31.8639.18+7.32
FlowGen-e95.8796.97+1.10
FlowGen-m65.2179.55+14.34
FlowGen-h57.9369.42+11.49

Qwen3-VL-4B，无 OCR 后处理。来源：论文附录 B、研究海报。

多箭头批量查询

每个箭头都查询一次，
会不会太慢？

K = 3：延迟降低 39%，F1 仅下降 0.49 个百分点。

在同一张完整图像中标记 K 个箭头头部，一次请求 K 条编号三元组。下方比较 K = 1、2、3 的宏平均延迟和准确率，展示批量查询的效率与精度权衡。

1 arrowhead per query
4.00秒 / 图像
83.30F1 (%)
86.52宽松匹配 F1（%）
1.00×相对 K = 1 的速度

九个基准的宏平均，Qwen3-VL-4B，NVIDIA RTX 5880 Ada。E2E：78.39 F1、2.73 秒/图像。来源：论文表 10。

5资源

05 / 论文与开源资源

进一步了解 TRACE。

01

代码

数据合成、检测器训练、VLM 微调、推理、评测与基于图的问答代码。

GitHub 仓库02

论文

完整方法、基线比较、消融实验、实现细节与局限性。

阅读 PDF03

海报

概览方法框架、跨风格泛化、下游问答和多箭头批量查询。

阅读 PDF04

数据记录

合成监督数据与箭头头部标注。

查看数据记录

引用本工作

@inproceedings{dong2026trace,
  title = {TRACE: Triplet Recovery via Arrowhead-Centric
           Extraction for Flowchart Understanding},
  author = {Dong, Daozhu and Shi, Kaiwen and Si, Dan and
            Hao, Xiaoyu and Liu, Tong and Zhang, Wenjie and
            Cheng, Gong},
  booktitle = {Proceedings of the 2026 Conference on
               Empirical Methods in Natural Language Processing},
  year = {2026},
  note = {Accepted to the Main Conference; proceedings metadata forthcoming},
  url = {https://github.com/nju-websoft/TRACE}
}

论文已被 EMNLP 2026 Main Conference 接收。当前为临时论文引用；正式论文集发布后将补充页码、DOI 和 ACL Anthology 链接。