闪回 ReplayLens · 电竞俱乐部 / 游戏公司解决方案

面向对象：电竞俱乐部经理与教练组、青训负责人、数据分析师、内容运营负责人、发行/研发侧版本反馈对接人。 一句话定位：一套全离线、无外挂、纯录屏输入的对战复盘系统，把俱乐部的录像资产自动转成可追溯的战术证据、选手评估、对手情报、版本反馈与内容素材。 当前状态：分析管线 dv-analyze 与使用界面 dv-studio（Rust + Vue 单一二进制）已跑通，界面内置与真实产物同构的演示数据；接入真实分析产物后 UI 与 API 契约不变。

---

一、为什么是"录屏 + 视频 AI"这条路线

1.1 行业空白（有真实痛点、无现成解）

现有复盘工具（官方营地 / OP.GG / HLTV / Tracker / 虎牙剪辑 / Eklipse）没有一家做到"任意游戏、纯录屏输入、离线运行、给出因果解释的复盘"。它们要么依赖游戏内部数据 API（厂商随时可关），要么停留在"何时切"的事件触发，没人回答"这波为什么打得好 / 这局输在哪"。

1.2 官方数据通道脆弱，录屏是唯一可携带介质

• Valorant 官方回放约两周过期、不能导出；CS2 CSTV demo 停摆曾致第三方导入断供 42 天、官匹 demo 仅存 7~14 天；Faceit demo 30 天自动删；王者荣耀本地回放加密、唯一获取方式是录屏。
• 《三角洲行动》在反作弊（ACE）敏感环境下，读内存类工具是禁区——纯录屏 + 系统级采集是这个品类唯一既合规又可携带的方案。

1.3 技术范式已被验证："小模型定事实、大模型做解释"

裸用多模态大模型看整局游戏视频，在长视频定位、HUD 小字、时间接地、幻觉等维度全面不及格；而"检测+OCR 把画面转结构化事实再喂 VLM"有目前最硬的增益证据（OmniParser：ScreenSpot 16.2% → 73.0%，+56.8pt）。本系统的血条/红屏/hitmarker 像素事件、播报 OCR 判敌我，正是与该结论同构的工程落地。

关键出处：OmniParser (arXiv 2408.00203)、Gameplay Highlights Generation (arXiv 2505.07721)、GameplayQA、LVBench、OCRBench v2；详见 对战复盘与主播痛点_视频AI多模态调研.md。

---

二、合规与能力红线（写给法务与风控）

承诺	说明
纯离线批处理	不接游戏进程、不读内存、不挂钩、无实时低延迟承诺；录像文件本地分析，"云端上传 = 0 次"作为红线指标在看板公开展示
正向学习用途	输出为复盘/训练/内容素材，不提供任何对局操控或对抗性能力
画面可见即事实、不可见即声明	◉ 直接可见 / ◐ 可推断（必带 confidence + evidence_ts）/ ✂ 不可得（结构上不产出，而非产出后隐藏）
数据可追溯到帧	每个结论绑定 CFR60 栅格时间戳（ts = n×16667μs），界面点击任一结论都能定位到可解析的时间帧

明确不承诺（✂）：战争迷雾后的敌方位置/动向、敌方剩余血量、真实 APM、语音内容分析、全服平衡统计。系统对这些不生成，界面上以虚线/红框/空态区分，避免误导教练组与对外话术。

---

三、系统架构（五层，一页看懂）

1. 视频解码层：读取本地录像，OpenCV 取真实帧毫秒时间戳，统一全局时间基准 ts。
2. 轻量感知层（每帧必跑，开销极低）：像素分析（血条/红屏/弹药变化）+ OCR（击杀播报、UI 文字）+ YOLO（敌我目标定位，补 VLM 小目标漏检）。
3. 智能事件决策层：事件驱动动态抽帧——命中反馈/红屏/开火/发现敌人触发高密（0.2~0.5s），静止期稀疏采样；内置 5 帧环形缓存，保留事件前 0.5s 历史，解决"敌人先出现、采样滞后"。
4. 多模态理解层（VLM，仅关键帧调用）：输入是"画面 + 结构化感知数据"，VLM 只做战术语义解释、不产数值。
5. 全局时序汇总层：产出带时间戳的事件日志、逐交战 AI 分析、失误统计、站位风险、改进建议与报告。

交付形态：dv-studio 前端工具链用 Deno 构建，Vite 产物编译期由 rust-embed 内嵌进后端，最终交付单一可执行文件（无 Node 运行时、无 CDN、无外部资源，全离线），./dv-studio [端口] 起服务，hash 路由，四种角色视角共用一套数据契约。

---

四、公司看板：9 大模块与业务价值

界面路由 #/org；卡片编号 O-01…O-09，与下方一一对应。全部数值来自感知/特征层，VLM 仅产文字。

模块	名称	给公司解决什么	数据口径
O-01	四周分析量与首要问题	复盘产能与本周俱乐部头号问题一眼可见	◉ 聚合
O-02	分析任务队列（本地批处理）	batch 分析 / 新 UI 标定 / 回归评估任务进度与排队	◉ 作业状态
O-03	节点部署（全离线集群）	集群拓扑、GPU/模型/管线版本、在线状态透明	◉ 部署台账
O-04	逐游戏标定库	roi.toml / hud_lexicon.toml 版本与多游戏覆盖进度	◉ 配置版本
O-05	选手评估与青训	前/后半程撤离率与 K/D 对比 + 潜力分与去留判定，服务轮换与青训选材	◉ 聚合 · ◐ 潜力判定
O-06	下阶段对手侦察	参照队末周战绩 + 半程趋势 + 近期强势项，备赛用	◉ 公开战绩 · ✂ 无游戏内视角
O-07	地图平衡观察	本队样本内地图胜率/时长/带出偏移信号，作版本反馈入口	◐ 自身样本口径 · ✂ 非全服
O-08	训练效果闭环	规则命中前后半程对比 + 偷袭未注意率六周走势，复核训练科目是否有效	◉ 聚合
O-09	内容素材流水线	复盘→传播自动化：击倒生成高光卡、被偷袭生成教训卡，带片段规格与审核状态	◐ 候选 · 人审/法务前置

4.1 教练组与青训（O-05 / O-08）

• 选手评估（O-05）：以"前半三周 vs 后半三周"暴露状态趋势，潜力分由后半程撤离率、半程增量、ΔK/D 加权（◐），三档判定（升入主力候选 / 继续培养 / 轮换重估）。界面明示"仅供教练组参考，不替代人审"。
• 训练闭环（O-08）：把每条建议规则（R-Fxx）的命中次数按前后半程对比，直接回答"这周练的科目见效了吗"；配合"偷袭未注意率"六周折线（越低越好），让训练投入产出可量化。

4.2 备赛与情报（O-06）

仅基于公开对局战绩给出对手趋势与强势项判定；敌队雾内布置、内部训练数据 ✂ 不可得，本模块不生成——保证情报合规、不外推。

4.3 版本反馈通道（O-07）

以本俱乐部录像样本（如 n=63）统计逐地图胜率/时长/带出价值，超过阈值（±12pt）给出"优势/劣势地图候选"◐ 信号，作为向研发/发行侧反馈出生点、物资密度、通路压制力的可举证入口；界面明确"非全服结论、无服务器内部数据"。

4.4 内容运营（O-09）

从复盘自动挑出高光（击倒交战）与教训（被偷袭瞬间）素材候选，每条绑定可跳帧证据（evidence_ts，恒落 CFR60 栅格）与片段规格（reslice ±5s · 1080p MP4），状态含"待审核"——定位为素材初稿通道，发布前人审/法务前置。

---

五、部署与硬件（参考 O-03 / O-04）

• 推理节点：DGX-Spark（GB10 128G）跑 Qwen2.5-VL-7B（GGUF Q4_K_M，llama-server）作语言解释层；工作站（RTX 4070）跑 COCO-YOLO 弱触发 + RapidOCR ONNX 感知层；录制机（RTX 3060）仅做 NVENC CFR60 采集。
• 多游戏扩展：标定库按游戏目录化（roi.toml / hud_lexicon.toml），当前对《三角洲行动》烽火地带全地图 + 全面战场部分覆盖；王者荣耀为预研、RTS 为规划中。HUD/词表迁移成本低，扩展天花板在"可信度"而非"能不能采"。
• 交付：单二进制内嵌界面，分析端产出的 JSON 报告直接喂给 dv-studio，UI 与契约不变。

---

六、商业与 ROI 参考

• 人工 vs 系统：人工陪练/教练复盘约 65~90 元/局起（海外 $29.99/次），行业年增 32~36%；已出现的 AI 教练定价约 1~2 元/局（GameSkill）。本系统面向俱乐部的价值不在单局价格，而在把录像这一"永久但无人回看"的资产，转成可复用的训练、备赛、版本反馈与内容素材。
• 主播/内容侧增益：切片选段与标题目前仍靠人力；系统自动产教训卡/高光卡候选 + 证据跳帧，压缩"下播后成片"人工成本。
• 护城河：可携带（录屏不过期）、跨平台、全离线合规——与依赖官方 API 的方案形成结构性差异。

---

七、接入路线（从演示到真实产物）

1. 录制：采集卡外置 + Rust 编排 FFmpeg（NVENC / CFR60）产出标准录像。
2. 分析：dv-analyze 批处理五层管线，输出带 ts/frame_n/enc_id/bearing/noticed/confidence/evidence_ts 的结构化报告 JSON。
3. 呈现：dv-studio 把 dv_mock::dataset() 替换为读取真实报告 JSON 的加载逻辑，四种角色界面与 API 契约零改动。
4. 评测：以自建 ground-truth（evaluate 召回/精确率）为权威口径，不对外做无评测支撑的准确率宣传。

---

八、边界、风险与待办

项	说明
语义解释质量	GameplayQA 显示前沿 MLLM 与人类仍有差距（71.3 vs 80.5）→ 产品内置人审 + 置信度展示，初期定位"素材+初稿"而非"结论"
平台条款与版权	内容素材分发涉及平台协议与肖像/授权，属法务问题，上线前逐平台核查
官方 AI 复盘挤压	差异守在"可导出、跨平台、给俱乐部自己的可追溯报告"，需持续验证
数字口径待补	切片耗时、部分社区口碑为一手访谈待证项，进商业计划书前补证

---

附录：核心来源

• OmniParser (arXiv 2408.00203) · Gameplay Highlights Generation (arXiv 2505.07721) · GameplayQA · LVBench (arXiv 2406.08035) · OCRBench v2 (arXiv 2501.00321)
• HLTV Rating 3.0 · Valorant 回放官方指南 · Leetify demo 停摆 · Eklipse 无接口退化说明
• 新华报业：陪练价格 · 品玩：GameSkill AI 教练 · 新华网：2024 电竞用户 4.9 亿 · Twelve Labs

完整调研与量化证据见仓库根目录 对战复盘与主播痛点_视频AI多模态调研.md、三角洲部队AI全自动离线复盘系统整体架构.md；界面与数据契约见 dv-studio/README.md。