百度开源 Unlimited OCR，在 DeepSeek OCR 基础上引入 R-SWA 注意力机制，让 OCR 模型在 32K 标准上下文内单次前向推理解析数十页文档，OmniDocBench v1.5 拿下 93.23% 端到端 SOTA。
百度开源 Unlimited OCR，在 DeepSeek OCR 基础上引入 R-SWA 注意力机制，让 OCR 模型在 32K 标准上下文内单次前向推理解析数十页文档，OmniDocBench v1.5 拿下 93.23% 端到端 SOTA。
DeepSeek OCR 把视觉 token 压缩做到了极致，但留下了一个尾巴：输入侧压得很狠，输出一长，解码阶段的 KV Cache 还是一路膨胀，所以多数 OCR 系统最后都退回到"一页一页循环调用"的工程妥协。百度这次开源的 Unlimited OCR 直接接的就是这一棒——不改编码器，专攻解码端，让模型在 32K 标准上下文长度下一次前向推理读完一整本书。
结果很硬：在文档解析主流基准 OmniDocBench v1.5 上以 93.23% 的总分拿下端到端 SOTA，比 DeepSeek OCR 整整高出 6 个百分点。模型、技术报告、项目代码全部开源。
不是逐页处理、不是 for-loop 拆任务，是单次前向推理直接完成数十页文档解析。
传统 OCR 处理长文档靠逐页解析：模型识别完第一页状态清空，再识别第二页，外部调度器把碎片拼起来。这在工程上能跑，但语义连贯性被割裂——模型并不知道自己在做一本书级别的连续转写。
Unlimited OCR 的思路来自一个类比：人手抄一本书时，注意力并不平均分配给整本书。眼睛盯着原书页，脑子里记住刚刚写下的几个字，然后把注意力放到下一个字。它不会一边写当前字、一边完整回忆前面抄过的几百页。
这套"软遗忘"机制让人类能连续抄完整本书。Unlimited OCR 把它搬进了注意力机制。
Unlimited OCR 直接构建在 DeepSeek OCR 之上，总参数 3B，激活参数 500M，沿用 DeepEncoder 做激进的视觉 token 压缩（一张 1024×1024 页面只剩 256 个视觉 token）。百度的关键改动是把标准多头注意力（MHA）替换成 R-SWA（Reference Sliding Window Attention）。
R-SWA 把模型能看到的信息拆成两部分：
R-SWA：每个生成 token 都关注全部参考 token（视觉+prompt）以及前 n=128 个输出 token。整个解码过程 KV cache 保持恒定。
普通滑动窗口会把视觉 token 也一起滑出去，长程生成会让视觉特征逐渐模糊；而标准 MHA 随输出变长，KV cache 一路膨胀，越到后面越慢、显存越吃紧。
R-SWA 把视觉 token 锁在参考缓存里、把输出 token 限制在固定窗口里，于是：
Unlimited OCR 以 93.23% 拿下端到端 SOTA。在 PPT、报纸、杂志、笔记这类复杂版式文档上也没有掉队，说明 R-SWA 不只是对纯文本友好。
复杂版式下也没有掉队。
百度构建了内部长文档测试集，按页数分 2/5/10/15/20/40+ 页几组：
输出 256 个 token 时，两个模型速度几乎相同；输出到 6000 个 token 时，DeepSeek OCR 的 TPS 已经比 Unlimited OCR 落后 35%。输出越长，R-SWA 优势越明显。
MHA 随 KV cache 变长越来越慢，R-SWA 把输出侧 KV cache 锁在固定窗口，解码开销不随输出长度膨胀。
开源资源齐全：
Unlimited-OCR Works（HuggingFace 上可直接看 PDF）github.com/baidu/Unlimited-OCRhuggingface.co/baidu/Unlimited-OCR模型基于 DeepSeek OCR，可以理解为"在 DeepSeek OCR 上换了解码端注意力"。如果你的工作流已经在用 DeepSeek OCR，迁移成本主要是替换注意力层。
💡 提示：HuggingFace 致谢栏明确写着"感谢 DeepSeek-OCR、DeepSeek-OCR-2"，技术报告里对 DeepSeek OCR 的引用高达 40 次。如果团队已经在 DeepSeek OCR 生态里，Unlimited OCR 是顺路线升级，不是换栈。
项目地址：github.com/baidu/Unlimited-OCR
面向开发者的 Seedance 2.0 视频 API 接入指南，覆盖方舟平台开通、API 调用、SDK 示例、TOS 存储与价格注意事项。
清华/上交/北邮联合开源 MemSlides，记忆驱动的 PPT 生成 Agent，支持个性化风格与多轮局部修改，登顶 HuggingFace 榜单。
输入一句话或画张草图，CADDesigner 自动生成 3D 模型。浙大开源的 LLM 驱动 CAD 智能体，附使用流程与避坑要点。