发帖
雷达卡
1 论文标题
Large Language Models_ An Applied Econometric Framework
2 作者信息
Jens Ludwig, Sendhil Mullainathan & Ashesh Rambachan
3 出处和链接（比如，NBER working paper No.11000）
NBER
4 摘要
大型语言模型（LLMs）在经济研究中的应用日益广泛，但其输出的有效性和可靠性面临挑战，如训练数据泄露和测量误差。为此，Ludwig、Mullainathan和Rambachan提出了一种应用计量经济学框架，旨在为LLMs在经济研究中的使用提供评估标准。1该框架的核心是区分预测问题和估计问题，并为每类问题设定有效性条件。在预测问题中，研究者使用LLMs对经济文本进行预测（如新闻标题对股价的影响），有效性依赖于“无训练泄露”条件，即LLMs的训练数据与研究数据集之间不应有重叠，否则样本平均损失无法反映真实预测性能；经验证据表明，GPT-4o等模型可能已在经济数据集上训练，导致预测偏差。在估计问题中，研究者使用LLMs自动测量经济概念（如新闻情感倾向）并用于回归分析，有效性要求“无测量误差”条件，即LLM输出必须与金标准测量一致，否则估计结果可能产生偏差；实证显示，LLM输出在不同模型和提示策略下变化显著，影响回归系数的大小、显著性和符号。
京公网安备 11010802022788号
