Direct SummaryStructured HTMLFrozen projectionBrowser-only edit

俄语语义检索与 RAG 评测

以 RusBEIR、混合检索、长文档召回和 RAG 联合评测为核心的俄语检索能力专题

使用方式:结构化 HTML,可直接编辑文本块;持久更新请改 data/workbench.json 后重新生成。 本页与详细工作台共享同一份 facts/data。

5主线维度
5能力矩阵
3证据源
4资源卡

一、外部汇报只需带走的结论

结论优先;每张卡保留 data-json-path 用于追溯冻结投影;页面内临时编辑不会写回当前权威数据。

展开证据
01

该项目的核心资产是俄语检索与 RAG 评测基础设施,而不是 KV Cache 或长上下文推理内核。

主归属 Research Domains / Information Retrieval Intelligence;长上下文只作为检索压缩上下文的相邻问题。

进入展开
02

最有价值的技术路线不是单一 Dense Retriever,而是查询分类、词法/神经召回、候选融合、神经重排和 RAG 上下文选择的组合。

Pilot 必须比较多阶段 Pipeline,不能只做 Embedding 排名。

进入展开
03

RusBEIR 应作为版本化 Benchmark 资产管理,必须区分原生俄语、翻译、多语言抽取和新构造数据集。

所有总榜结果必须按数据来源和文档长度拆分。

进入展开
04

合作入口应同时覆盖项目负责人和实际 Benchmark/NLP 核心成员。

Dobrov 负责组织接口;Loukachevitch、Kovalev、Tikhomirov 应进入技术尽调。

进入展开

二、综述方法状态

按照最新 review methodology 标准,展示协议、质量矩阵和资源池状态。

展开方法产物
evidence-backed resource/topic seed

P0-P7 综述流程已落地

Protocol / Search / Screening / Extraction / Quality / Synthesis / Reporting / Review artifacts are present.

quality

证据质量矩阵

0 items · 0 public URL · 0 candidate-only

resource-pool

资源池审查

0 breadth · 0 profiles · 0 pending upgrades

二、结构与链路

用少量节点表达该专题的底层结构,避免外部读者陷入长表。

展开总览图

三、关键维度

详细维度在工作台继续展开;本页只保留可汇报的主线。

展开主线
Track 1

Benchmark Engineering

数据集纳入、Qrels、版本、License、Hash、Leaderboard 与可复现脚本。

Track 2

Hybrid Retrieval

BM25、Dense、Sparse、Fusion 与 Neural Reranking 的组合。

Track 3

Long-document Retrieval

全文、段落、滑窗和句子粒度下的召回、成本与时延。

Track 4

RAG Evaluation

检索、上下文选择、答案生成和答案质量联合评测。

四、能力与资源判断

把资源、能力、证据等级和缺口压缩成一页可讲清楚的判断。

展开矩阵
Benchmark Engineering

Russian IR benchmark adapter

需要固定 release、dataset manifest、Qrels provenance 和 license matrix。

Hybrid Retrieval

Hybrid retrieval evaluation

需要统一模型版本、索引参数、延迟和成本采集。

Long-document Retrieval

Long-document stress test

需要 512/2K/8K/32K token 分层和全文/段落/滑窗对照。

qualified_clue

RSF project 25-21-00206

qualified_clue

public_reproduction_candidate

RusBEIR

public_reproduction_candidate

regional_resource_mirror

MSU Laboratory of Information Resources Analysis

regional_resource_mirror

五、合作方向与落地机会

只呈现可以对外讨论的方向,风险边界在下一节给出。

展开落地方向
Next 1

固定 RusBEIR 版本

收集 release、数据列表、Hash、Qrels、License 和官方 baseline。

Next 2

复现公开结果

在统一环境复现 BM25、Dense 和 Reranking。

Next 3

建立长文档压力测试

覆盖全文、段落、滑窗、句子和四档长度。

Next 4

组织技术尽调

由 CRI/CSI 主持,邀请项目负责人和三位核心成员。

六、风险、缺口与证据状态

一页汇报必须同时讲机会和边界,避免把候选判断写成既成结论。

展开证据
Risk 1

把 Benchmark 总榜当作生产选型结论

强制输出分桶结果和场景路由矩阵。

Risk 2

把翻译数据等同原生俄语

按 native/translated/multilingual/newly-created 分组。

Risk 3

把长文档检索误写成 KV Cache 研究

KV Cache 只作为相邻基础设施标签,不作为主能力。

Risk 4

只联系项目负责人

同时覆盖 Dobrov、Loukachevitch、Kovalev、Tikhomirov。

P0

专项俄语 Retriever 的公开发布状态不明确。

向团队索取模型卡、代码、权重和训练数据边界。

P0

Benchmark 不同阶段的数据集数量和 release 边界需要固定。

建立 manifest、版本、Hash、License 和 Qrels provenance。

P1

真实企业查询分布和权限过滤尚未进入公开 Benchmark。

由 CBG-AI/AI-scenario 提供脱敏场景集。

P1

长文档与 RAG 联合评测缺少统一成本指标。

补 Token、延迟、GPU/CPU、索引体积与答案正确率。

七、下一步

对外沟通后,内部继续回到工作台补证据、扩资源、做验证。

展开观察点
Next 1

固定 RusBEIR 版本

收集 release、数据列表、Hash、Qrels、License 和官方 baseline。

Next 2

复现公开结果

在统一环境复现 BM25、Dense 和 Reranking。

Next 3

建立长文档压力测试

覆盖全文、段落、滑窗、句子和四档长度。

Next 4

组织技术尽调

由 CRI/CSI 主持,邀请项目负责人和三位核心成员。