OCR × Document Intelligence × Clinical Records

实操工作坊：
上手病例图片 OCR 智能结构化

从“识字”到“读懂病历”

OCR 技术简史、文档智能前沿与本地实操

02 / 12

看见字符文字、数字、单位

还原结构标题、表格、阅读顺序

理解语义字段、关系、问题答案

03 / 12

1913

Optophone

用光敏元件扫描印刷文字，并转换为声音。

1970s

多字体阅读机

Kurzweil 系统将扫描、OCR 与语音合成结合。

1980s–2000s

扫描仪 + 软件

文档采集普及，OCR 转向统计模型与流水线。

2010s–NOW

深度学习与 VLM

识别文字，同时解析版面、结构与语义。

图片：Optophone；Kurzweil Reader；SpectraSCAN；Transkribus Dashboard。来源：Wikimedia Commons。

04 / 12

Deep learning demo

神经网络如何识别一个手写数字？

像素输入28 × 28

展平输入784维输入

深度神经网络10个输出节点

分类结果0–9 概率

读取 28×28 像素

05 / 12

文字识别

字符与文本行

TrOCR

文档解析

版面、表格与顺序

LayoutLMv3 / Donut

信息抽取

字段、值与证据

FormNet / UDOP

文档问答

提问、推理与拒答

DocVQA

代表论文：TrOCR (2021)；LayoutLMv3 (2022)；Donut (ECCV 2022)；UDOP (CVPR 2023)。

06 / 12

检验项目结果单位

空腹血糖5.6mmol/L

血肌酐126μmol/L

尿素氮7.1mmol/L

血红蛋白132g/L

bbox (42, 214, 860, 292)

布局 layout

血肌酐126μmol/L

LayoutLMv3：文字 + 图像 + 坐标

Donut / Nougat：页面图像直接生成结构化文档

Huang et al., LayoutLMv3, ACM MM 2022；Kim et al., Donut, ECCV 2022；Blecher et al., Nougat, ICLR 2024.

07 / 12

病历图像文字 + 版面 + 表格

→

Schema字段定义与约束

→

JSON值 + 原文 + 坐标

就诊日期2026-08-06

过敏史未记录

检验项目血肌酐

结果 / 单位126 μmol/L

证据页Page 01

证据坐标(42,214…)

08 / 12

Question

“患者最近一次肌酐值是多少？”

Retrieve + read

P.02

跨页检索文字、表格和版面证据

Answer with evidence

126 μmol/L

第 2 页 · 检验报告
证据框已定位

可回看

DocVQA (WACV 2021) → MP-DocVQA (2022) → MMLongBench-Doc (NeurIPS 2024)。

09 / 12

2,000 张真实中文医疗报告图像

图像内容、表格数值与临床推理仍有明显性能差距

Jin et al., RJUA-MedDQA, 2024, Table 3.

10 / 12

1,925 份去标识化中文检验与检查报告

OCR 辅助输入在多数模型和字段上提高召回率

Shang et al., MedRepBench, 2025/2026 revision, Table 1.

11 / 12

下载安装

点击系统对应的下载按钮，按安装向导完成安装。

选择模型

打开模型列表，点击 qwen3-vl:2b；首次使用会自动下载。

设置上下文

打开 Settings，拖动 Context length 滑杆设置上下文长度。

添加并发送

点击 + 添加去标识化病历图片，确认模型后点击发送。

来源：Ollama App；Qwen3-VL 2B。

12 / 12

INPUT

图片质量

模糊、倾斜、遮挡、反光与压缩噪声，决定识别能力的上限。

MODEL

错误会被传递

小数点、单位、阴阳性和表格关系，可能在低质量输入中失真。

REVIEW

谨慎复核

保留原图与证据坐标，高风险字段必须由专业人员确认。

清晰采集→质量检测→OCR / VLM→证据复核

实操工作坊：
上手病例图片 OCR 智能结构化

一页病历包含三类机器任务