用于选择分析的深层神经网络：一种统计学习理论

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Deep Neural Networks for Choice Analysis: A Statistical Learning Theory
  Perspective》
---
作者：
Shenhao Wang, Qingyi Wang, Nate Bailey, Jinhua Zhao
---
最新提交年份：
2019
---
英文摘要：
  While researchers increasingly use deep neural networks (DNN) to analyze individual choices, overfitting and interpretability issues remain as obstacles in theory and practice. By using statistical learning theory, this study presents a framework to examine the tradeoff between estimation and approximation errors, and between prediction and interpretation losses. It operationalizes the DNN interpretability in the choice analysis by formulating the metrics of interpretation loss as the difference between true and estimated choice probability functions. This study also uses the statistical learning theory to upper bound the estimation error of both prediction and interpretation losses in DNN, shedding light on why DNN does not have the overfitting issue. Three scenarios are then simulated to compare DNN to binary logit model (BNL). We found that DNN outperforms BNL in terms of both prediction and interpretation for most of the scenarios, and larger sample size unleashes the predictive power of DNN but not BNL. DNN is also used to analyze the choice of trip purposes and travel modes based on the National Household Travel Survey 2017 (NHTS2017) dataset. These experiments indicate that DNN can be used for choice analysis beyond the current practice of demand forecasting because it has the inherent utility interpretation, the flexibility of accommodating various information formats, and the power of automatically learning utility specification. DNN is both more predictive and interpretable than BNL unless the modelers have complete knowledge about the choice task, and the sample size is small. Overall, statistical learning theory can be a foundation for future studies in the non-asymptotic data regime or using high-dimensional statistical models in choice analysis, and the experiments show the feasibility and effectiveness of DNN for its wide applications to policy and behavioral analysis.
---
中文摘要：
虽然研究人员越来越多地使用深层神经网络（DNN）来分析个人选择，但过度拟合和可解释性问题仍然是理论和实践中的障碍。通过使用统计学习理论，本研究提出了一个框架，以检查估计和近似误差之间的权衡，以及预测和解释损失之间的权衡。它通过将解释损失的度量公式化为真实选择概率函数和估计选择概率函数之间的差异，从而在选择分析中实现DNN的可解释性。本研究还利用统计学习理论对DNN中预测和解释损失的估计误差上界，揭示了DNN不存在过拟合问题的原因。然后对三种情况进行模拟，以比较DNN和二进制logit模型（BNL）。我们发现，对于大多数情景，DNN在预测和解释方面都优于BNL，并且更大的样本量释放了DNN的预测能力，而不是BNL。DNN还用于根据2017年全国家庭旅游调查（NHTS2017）数据集分析出行目的和出行方式的选择。这些实验表明，DNN可以用于当前需求预测实践之外的选择分析，因为它具有固有的效用解释、适应各种信息格式的灵活性以及自动学习效用规范的能力。DNN比BNL更具预测性和可解释性，除非建模人员对选择任务有完整的了解，并且样本量较小。总的来说，统计学习理论可以为未来在非渐近数据领域的研究或在选择分析中使用高维统计模型奠定基础，实验表明DNN在政策和行为分析中的广泛应用是可行和有效的。
---
分类信息：

一级分类：Economics        经济学
二级分类：General Economics        一般经济学
分类描述：General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> Deep_Neural_Networks_for_Choice_Analysis:_A_Statistical_Learning_Theory_Perspective.pdf (2.6 MB)

2022-6-11 00:36:36 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：神经网络 统计学习 神经网 统计学 Quantitative

深度神经网络用于选择分析：非统计学习理论视角Shenhao Wangqiyi WangNate BaileyJinhua Zhao麻省理工学院Ugust 2019摘要尽管研究人员越来越多地使用深度神经网络（DNN）来分析个人选择，但过度拟合和可解释性问题仍然是理论和实践中的障碍。通过使用统计学习理论，本研究提出了一个框架来检验估计与近似误差之间以及预测与解释损失之间的权衡。它通过制定解释损失的度量，即真实选择概率函数和估计选择概率函数之间的差异，来操作选择分析中的DNN解释性。基于DNN的选择模型的解释依赖于函数估计和自动效用规范，与依赖于参数估计和手工能力规范的传统选择模型的解释相反。本研究还利用统计学习理论对DNN中预测和解释损失的估计误差进行了上界，从而揭示了为什么DNN不存在过度拟合问题。然后对三种场景进行模拟，以比较DNNto二进制logit模型（BNL）。我们发现，DNN在大多数场景的预测和解释方面都优于BNL，并且更大的样本量释放了DNN的预测能力，而不是BNL。DNN还用于根据2017年全国家庭旅游调查（NHTS2017）数据集分析出行目的和出行方式的选择。这些实验表明，DNN可以用于当前需求预测实践之外的选择分析，因为它具有固有的效用解释、适应各种信息格式的灵活性以及自动学习效用规范的能力。

DNNis比BNL更具预测性和可解释性，除非建模人员对选择任务有完整的了解，并且样本量较小（<10）。总的来说，统计学习理论可以为未来在非渐近数据领域的研究或在选择分析中使用高维统计模型奠定基础，实验表明DNN在政策和行为分析中广泛应用的可行性和有效性。关键词：深层神经网络、选择建模、统计学习理论、可解释性1。简介选择建模是一个丰富的理论领域，广泛应用于整个交通研究以及许多其他领域[61、7、62]。虽然传统的离散选择模型已用于decades，但由于这些模型在许多领域的高性能，研究人员最近对使用机器学习分类器进行选择分析越来越感兴趣【34、48、27】。传统的离散选择模型依赖于研究人员使用领域知识来过滤各种模型规格，并找到最符合观测数据的模型。机器学习分类器可以改进这种方法，因为它们具有自动探索和非凡的近似能力。通过使用灵活的模型族假设，许多机器学习方法的逼近能力远远高于离散选择模型，离散选择模型通常被限制为具有手工特征的线性参数形式（如二次或对数形式）。在所有机器学习分类器中，深层神经网络（DNN）由于以下几个因素而特别强大。它具有很高的近似能力【33、32、19】，可以灵活地容纳各种类型的信息【37、38】，如实验研究所示，它具有很高的预测能力【23、34】，并已应用于许多领域【38、26、24】。

然而，有两个尚未解决的问题阻碍了DNN在许多运输选择分析环境中的适用性：相对较小数据集中的模型过度设置，以及缺乏可解释性。将DNN应用于运输选择分析研究的第一个问题是其对该领域通常可用的小型数据集的超拟合模型的潜力。一个过度拟合的模型精确地描述了培训数据，但样本外性能较差。经典统计理论表明，Vapnik-Chervonenkis（VC）维度（模型复杂性的度量）必须相对于样本量小，以避免过度拟合[64，63]。然而，使用DNN的场景通常处于非渐近区域，其中经典渐近假设不成立【66】。虽然越来越多的交通研究使用DNN来预测出行选择，即使是在小数据集上也具有很高的准确性【34、27、14、21、44、52、67】，但这一理论问题仍然没有解决，并且在使用DNN进行选择分析时，对于哪些情况可能导致过度匹配问题，没有实用指南。DNN在运输选择应用中的第二个问题是其缺乏可解释性。预测是所有建模的一个典型重点，无论是通过离散选择模型还是机器学习分类器进行，但许多交通应用也需要解释。可解释性对研究人员很重要，他们试图了解模式份额、弹性、边际替代率和社会福利的发现，以及公众，其中可解释性被发现有助于建立信任[41]，并向用户解释结果[22]。DNN通常被定义为“黑箱”模型，在所有机器学习分类中，它被列为可解释性较低的模型【36、41、70】。

以前大多数使用DNN进行交通选择建模的研究都只局限于使用DNN预测模式选择、活动选择、汽车拥有量或其他个人选择[30、68、14、15、47、27]。只有少数运输研究涉及到DNN在choicemodeling中的可解释性，但没有提供明确的指标来衡量可解释性的质量【53，9，27】。DNN模型的可解释性，尤其是与离散选择模型相比，将是决定这些方法是否可以扩展到需求预测之外的交通环境的关键因素，并对我们理解个人决策行为具有实际意义。本文试图通过建立一个由两个维度组成的统计学习理论框架来解决这两个问题。第一个维度是估计和近似误差的分解。我们证明，选择模型中使用的DNN架构的估计误差不是很大，解决了第一个过度匹配问题。证明了DNN中参数的大小比非渐近估计误差上界中参数的个数更重要。第二个维度涉及预测和解释损失。特别是，我们通过制定衡量解释损失的指标来证实解释的概念，作为预测损失的对应物。在我们的公式中，解释损失是通过真实选择概率函数和估计选择概率函数之间的差异来衡量的，因为所有有价值的经济信息都可以从该函数中得到。DNN中的模型可解释性依赖于基于自动学习效用规范的全选择概率函数。

这与传统的选择模型形成鲜明对比，传统的选择模型是通过为效用函数选择的各个参数来解释的。通过这种解释损失的新概念，我们可以从预测和解释损失两个方面对模型进行评估，使我们能够评估和展示DNN作为选择分析研究的强大预测和解释工具的潜力。为了阐明这一理论框架，我们通过四个实验将DNN与具有代表性的离散选择建模方法二进制logit模型（BNL）进行了比较。其中三个实验使用合成数据并结合蒙特卡罗模拟，说明了在不同样本大小和输入维度下，预测误差和估计误差之间以及解释和预测损失之间的权衡。最后一个实验使用了2017年全国家庭旅行调查（NHTS 2017）的数据，以阐明这一新理论框架的实际相关性，使我们能够为未来DNN在选择建模研究中的应用提供实际建议。在所有这些实验中，选择BNL与DNNBE进行比较，因为BNL比其他DCM（如嵌套和混合logit模型）更类似于DNN。虽然BNL只是DCM的一个成员，但本文的发现也可以扩展到本文中未用于比较的DCM。本研究首次引入了基于DNN的选择分析的统计学习理论的统一框架。该框架完善了非渐近数据体系，并为高维数据的选择建模奠定了基础，而经典统计工具无法充分分析高维数据。

我们回应了DNN中的两个关键问题：过度拟合和可解释性，这可以指导设计实验、进行调查、培训模型以及在基于DNN的选择模型中提供政策建议的过程。我们的实验阐述了DNN何时以及为什么优于经典多项式logit模型，并为未来的研究提出了具体的建模建议。本文中的理论和实验说明了DNN模型的可预测性和可解释性，并证明了其在需求预测之外以及在通常为离散选择模型保留的领域（如政策和行为分析）中的应用。本文的组织结构如下。在第2节中，我们更详细地描述了我们的框架的理论背景和相关的过去研究。在本节中，我们制定了可用于DCM和DNN的解释评估指标，然后使用统计学习理论来描述由近似误差和估计误差以及预测和解释损失之间的双重权衡产生的四个象限。每个象限的介绍之后是对之前与它们最相关的研究的回顾。在第3节中，我们描述了我们对合成数据的三个模拟实验，说明了四个象限之间的权衡动态。然后，我们将我们的框架应用于NHTS数据，并讨论结果。第4节总结了本文，并对影响和未来研究进行了评论。2、理论与文献综述2.1。使用统计学习理论建立基于DNN的选择模型。Let s（xi）表示个人i从{0，1}个备选方案中选择备选方案1的概率，以及包括备选方案和个人特定变量的输入：s（xi）：Rd→ [0, 1].

个人选择易学∈ {0，1}是一个贝努利随机变量，具有选择备选方案1的s（xi）概率。这种软决策规则是选择分析中常见的假设，它比不涉及概率决策的硬决策规则更通用。让f（xi）：Rd→ {0，1}表示硬决策规则映射。让Fdenote表示由前馈DNN表示的模型类，逐层特征转换Φ（xi，w）=（gmo ...g级o g） （xi），其中gj（x）=ReLU（hWj，xi），表示DNN中的一个标准模块，由ReLU激活和线性变换组成。当DNN应用于二元选择情况时，选择概率s（xi，w）变为（xi，w）=σ（Φ（xi，w））=1+e-Φ（xi，w）（1），其中σ是Sigmoid激活函数，w代表DNN中的所有系数。注意，Φ与确定性效用差异V相似- Vin选择型号。Φ越大，个体i越可能选择备选方案1而不是0。让Frepresent表示BNLandΦ（xi，w）=hw的模型类，xii表示BNL中的线性特征映射。可以看出，BNL是DNN的特例（见附录I）：F F、 BNLis中s（xi）的选择概率与方程1相似，只是用Φ替换Φ。设S={xi，yi}Ni=1表示样本；N样本量；x个~ Px（x）x的数据生成过程；和s*（x） ，f*（x） ，和w*带有Softmax或Sigmoid激活函数的trueAn渐近软决策规则成为硬决策规则。模型和参数。经验风险最小化用于获得其估计值：^s（x）、^f（x）和^w.definition 1。

经验风险最小化（ERM）定义为asminf∈F^L（F）=最小值∈FNNXi=1l（yi，f（xi））（2）基于ERM的估计量定义为^f=argminf∈F^L（F）=argminf∈FNNXi=1l（yi，f（xi））（3）在训练ERM时，选择特定的预期损失函数L（y，x）=Ex，y[L（y，f（x））]至关重要。一种常见的选择是对数损失，这与经典的最大似然估计有关。为了了解任何估计器的样本外性能，我们需要检查异常：定义2。^f的过度误差定义为【L（^f）】- L（f*)] （4） ^s的定义为【L（^s）】- L（s）*)] （5） L（^f）和L（^s）是估计量的总体误差，而L（f*) 和L（s）*) 是真实模型的populationerror。超额误差衡量估计量的误差偏离真实模型的程度，在随机抽样S上取平均值。超额误差的严格上界可以保证可靠的样本外性能。在下面的讨论中，我们将主要使用f*和^f作为运行示例，但以下所有参数都适用于s*和^s.超额误差可分解为估计误差和近似误差，如下所示。ES[升（华氏度）- L（f*)] = ES[升（华氏度）- L（f*F） ]+ES[L（F）*F）- L（f*)] （6） 其中f*F=argminf∈FL（f），函数类f中的最佳函数，近似于f*.定义3。估计误差指的是toES【L（^f）】- L（f*F） （7）定义4。近似误差指的是toES[L（f*F）- L（f*)] （8） 估计误差是方程6中的第一项，近似误差是第二项。估计误差是一个衡量^f是否超过fits的量：非常大的L（^f）- L（f*F） 意味着严重的过度匹配。由于估计误差有一个^f项，它从采样和训练中捕获随机性。近似误差更具确定性，仅捕获最佳函数f之间的差异*Fin函数类F和真函数F*.

以下四小节将依次介绍DNN的预测损失、解释损失、近似误差和估计误差。2.2. 预测损失定义5。预测损失定义为L0/1（f）=Ex，y[{y 6=f（x）}]（9）经验预测损失定义为^L0/1（f）=NNXi=1{yi6=f（xi）}（10）预测损失无疑是评估预测绩效最常用和最广泛使用的指标。几乎所有使用机器学习分类器预测任何旅行相关决策的研究都基于样本外预测损失来评估其模型【17、60、48、1、27、14、30】。使用预测损失作为评估指标的做法也主导了其他应用机器学习分类器解决实际问题的领域【37、38、28】。一些经验性的Albenchmark论文使用预测损失作为评估指标，比较了数百个模型和数据集的性能，从而得出了可概括的结论[23，36]。我们的研究还将使用该预测损失来评估模型的预测性能。2.3. 解释损失定义6。解释损失定义为真实和估计选择概率函数之间的差异*- s | | L（Px）=Zx（s*（十）- s（x））dP（x）（11）经验解释损失定义为^Ls（s）=NNXi=1（s*（xi）- s（xi）（12）解释损失通过真实和估计选择概率之间的差异来衡量，在域X上进行积分，并通过Px（X）进行加权。我们选择使用这种测量方法，因为研究人员可以通过选择概率函数s（x）获得最重要的经济信息。