BRIGHT 文本检索基准数据集

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

该数据集是由香港大学、普林斯顿大学、华盛顿大学和 Google Cloud AI Research 于 2024 年推出的新型文本检索基准测试，相关论文成果为「BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval」。 BRIGHT 是第一个需要深入推理才能检索相关文档的文本检索基准。研究团队从不同领域（StackExchange 、 LeetCode 和数学竞赛）收集了 1,385 个真实查询，这些查询全部来自真实的人工数据。团队将这些查询与 StackExchange 答案中链接的网页、数学奥林匹克问题中标记的定理配对。 它专门设计用来评估和挑战检索系统在处理复杂查询时的表现。这些查询不仅需要关键词匹配，还需要深入的推理能力来识别相关文档。简单来说，BRIGHT 测试的是检索系统是否能够「理解」查询背后的逻辑和上下文，而不仅仅是表面的文字。例如，一个经济学家想要找到关于「人类活动如何影响气候系统」的文档。这个问题不仅仅是关于关键词的匹配，而是需要理解人类活动（如砍伐森林和城市化）与气候变化之间的关系。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖