MMEvalPro 多模态基准评估数据集

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

MMEvalPro 是由北京大学、中国医学科学院、香港中文大学和阿里巴巴的研究团队于 2024 年提出的多模态大模型 (LMMs) 评估基准，旨在提供更可信和高效的评估方法，解决现有多模态评估基准中存在的问题。现有基准在评估 LMMs 时存在系统性偏差，即使是没有视觉感知能力的大型语言模型 (LLMs) 也能在这些基准上取得非平凡的性能，这削弱了这些评估的可信度。 MMEvalPro 通过增加两个「锚」问题（一个感知问题和一个知识问题）来改进现有的评估方法，形成测试模型多模态理解不同方面的「问题三元组」。

MEvalPro 的主要评估指标是「真实准确性 (Genuine Accuracy)」，它要求模型必须正确回答三元组中的所有问题才能获得分数。这个过程包括多个阶段的审核和质量检查，以确保问题是清晰、相关和具有挑战性的。最终的基准包含 2,138 个问题三元组，总共 6,414 个不同的问题，涵盖不同主题和难度级别。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：eval 多模态 EVA 数据集 accuracy