FinQA 有 8,281 道题,每道题的答案都是一个数字,而且答案旁边还附着一串「怎么算出来的」。这在财报数据集里不多见——多数数据集只给答案,不给你验答案的依据。
它的用途也很具体:拿它测一个 AI 模型或 AI 助手,看它在读财报表格时是真算过,还是编了个像样的数。题目全部来自美国上市公司的年报和季报(10-K/10-Q)页面,问的是「2009 年的利息费用是多少」「递延收购付款从 2011 到 2012 年下降了百分之几」这类能从表里查、必须动手算的问题。
四份 JSON,两套能评测、一套只给问题
| 文件 | 题数 | 报告数 | 有参考答案 |
| train.json | 6,251 | 2,110 | 有 |
| dev.json | 883 | 299 | 有 |
| test.json | 1,147 | 380 | 有 |
| private_test.json | 919 | 303 | 无,只给问题 |
三份公开切分合计 8,281 题、2,789 份报告页;加上私有测试集共 9,200 题。三份公开切分的报告互不重叠,同一份财报页不会既在训练集又在测试集。私有测试集只有 question 字段,没有答案、没有支撑事实,是官方排名用的真正盲测集。
一份报告最多出 6 道题,多数是 2—4 道:2,110 份训练集报告里,出 4 道题的有 1,110 份、出 2 道的有 898 份、出 3 道的有 512 份、只出 1 道的 214 份。
一道题长什么样
训练集的第一条,编号 ADI/2009/page_49.pdf-1,问题原文是:
what is the the interest expense in 2009?
(原文有两个 the,这是数据集原样,没有清洗。)
它的推理程序是 divide(100, 100), divide(3.8, #0),执行结果 3.8。读法是从左往右算,#0 指上一步的结果:先 100 除以 100 得 1,再 3.8 除以 1 得 3.8。程序里出现 100/100 这种恒等于 1 的步骤,是因为原始表述是「LIBOR 每变动 100 个基点,年利息费用变动 380 万美元」,题目把基准变动也写进了算式。
每条记录还带 gold_inds,标出这句数字出自哪一句正文或表格哪一行。8,281 题里 3,834 题只有 1 条支撑事实、3,530 题有 2 条,其余 3 条以上。
运算里除法最多,六成问题在问比例
| 算子 | 出现次数 | 干什么 |
| divide | 5,901 | 求比值、求占比 |
| subtract | 3,676 | 求差额、求增减 |
| add | 1,952 | 求和 |
| multiply | 759 | 乘百分比、乘数量 |
| greater | 154 | 比较大小,输出 yes/no |
| table_average | 129 | 对表格某列求均值 |
| table_max/table_sum/table_min | 66/50/36 | 取最大、求和、取最小 |
| exp | 9 | 指数 |
除法一项就占全部运算次数的四成以上。这和问题的问法对得上:8,281 题里有 5,004 题(60.4%)含 percentage、percent、portion、ratio、rate 这类词,问的是「占比多少」「下降百分之几」。想做财报比率分析的人,这一块的分布就是现成的题型清单。
按步数看,1 步算完的 4,894 题(59.1%),2 步的 2,709 题(32.7%),3 步的 429 题,4 步及以上的 249 题。也就是说,四成题目不是一步除法能解决的,需要多步串起来。
表格只有 6 行,上下文却有 23 句
表格行数的中位数是 6 行,最多 20 行;列数中位数 4 列,最多 14 列。上下文(表格前的 pre_text 加表格后的 post_text)句数中位数 23 句,按词算中位数 248 个词、九成在 638 个词以内。8,281 题全部带表格,没有一道是纯文本题。
这个尺寸说明数据集是「裁剪过」的:从整份财报里切出相关段落和一张小表,而不是把 100 多页年报整份塞进去。好处是模型不用处理超长文档;代价是它离真实财报阅读场景还有距离——真实场景里,你得先找到那张表。
137 家公司、1999—2019 年的美国财报
按编号前缀统计,公开切分覆盖 137 家公司,题量最多的是 ETR(472 题)、UNP(389)、JPM(293)、AMT(283)、GS(267)。年份跨度 1999—2019,题量集中在 2006—2018,2017 年最多(737 题),2019 年只有 81 题。
这带来一个必须提前知道的事:数据最新只到 2019 年。拿它评测「AI 能不能读懂最新财报」并不合适,它更适合评测「AI 会不会按财报口径做算术和比率」。
154 道是/否题,其余全是数值
8,281 题里 154 题(1.9%)的答案是 yes 或 no,其余 8,127 题是数值,其中 8,122 题是纯小数、5 题带千分位或负数符号。没有一道题的答案是百分比字符串——百分比题的结果也存成小数(例如 96.55172),要自己乘 100。
这点在评测时最容易出错:拿模型输出的「96.55%」直接和标准答案「96.55172」比对,字符串永远不等,必须先统一成数值再比。
用它核查 AI 财报问答,有四点要提前知道
一是版本。数据截止 2019 年,是研究用数据集,不是现行财报库,不能拿它当查数工具。
二是盲测集没有答案。private_test.json 的 919 题只给问题,官方排名要用它的在线评测,本地拿不到标准答案。
三是「答案」是执行结果,不是唯一算法。同一个数字可以有不止一种算式,程序里的 #0、#1 是中间步骤的引用,改一步顺序结果可能一致但程序不同。判分时执行结果一致比程序一致更宽松,做程序准确率评测要按官方脚本的口径来。
四是财报原文的权利与仓库许可不是一回事。仓库是 MIT 许可,但里面引用的财报文本和表格属于各家公司提交给美国证监会的文件,转载整段财报要另看来源,不能因为仓库是 MIT 就当成财报也能随便转。
────────────────
完整的字段清单、三套切分的逐项对比、十类算子的占用、两条原样示例记录(含 gold_inds 与分步 steps)、以及四个文件的原始地址与文件大小,都放在下面的回帖里,回复可见。
把经管之家装进你常用的 AI 智能体中 一键快捷安装经管之家 MCP/技能,让 AI 帮你查教程、找数据、读论坛帖子。 检索、阅读公开帖子不收费,安装可申请领取:3 通用积分+100 论坛币+3 元论坛资金 说明: AI 算力按所用平台规则计算;附件按原帖条件获取;福利领取条件以活动页面为准。 |


雷达卡


京公网安备 11010802022788号







