用于选择分析的深度神经网络：提取完全经济

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Deep Neural Networks for Choice Analysis: Extracting Complete Economic
  Information for Interpretation》
---
作者：
Shenhao Wang, Qingyi Wang, Jinhua Zhao
---
最新提交年份：
2021
---
英文摘要：
  While deep neural networks (DNNs) have been increasingly applied to choice analysis showing high predictive power, it is unclear to what extent researchers can interpret economic information from DNNs. This paper demonstrates that DNNs can provide economic information as complete as classical discrete choice models (DCMs). The economic information includes choice predictions, choice probabilities, market shares, substitution patterns of alternatives, social welfare, probability derivatives, elasticities, marginal rates of substitution (MRS), and heterogeneous values of time (VOT). Unlike DCMs, DNNs can automatically learn the utility function and reveal behavioral patterns that are not prespecified by domain experts. However, the economic information obtained from DNNs can be unreliable because of the three challenges associated with the automatic learning capacity: high sensitivity to hyperparameters, model non-identification, and local irregularity. To demonstrate the strength and challenges of DNNs, we estimated the DNNs using a stated preference survey, extracted the full list of economic information from the DNNs, and compared them with those from the DCMs. We found that the economic information either aggregated over trainings or population is more reliable than the disaggregate information of the individual observations or trainings, and that even simple hyperparameter searching can significantly improve the reliability of the economic information extracted from the DNNs. Future studies should investigate other regularizations and DNN architectures, better optimization algorithms, and robust DNN training methods to address DNNs\' three challenges, to provide more reliable economic information from DNN-based choice models.
---
中文摘要：
虽然深度神经网络（DNN）越来越多地应用于选择分析，显示出很高的预测能力，但尚不清楚研究人员能在多大程度上解释来自DNN的经济信息。本文证明了DNNs可以提供与经典离散选择模型（DCMs）一样完整的经济信息。经济信息包括选择预测、选择概率、市场份额、替代品替代模式、社会福利、概率导数、弹性、边际替代率（MRS）和异质时间值（VOT）。与DCMs不同，DNNs可以自动学习效用函数并揭示领域专家未预先指定的行为模式。然而，从DNNs获得的经济信息可能不可靠，因为与自动学习能力相关的三个挑战：对超参数的高度敏感性、模型不可识别性和局部不规则性。为了证明DNN的优势和挑战，我们使用规定的偏好调查对DNN进行了评估，从DNN中提取了完整的经济信息列表，并将其与DCMs中的经济信息进行了比较。我们发现，无论是在训练中还是在总体中聚合的经济信息都比个体观察或训练的分解信息更可靠，即使是简单的超参数搜索也可以显著提高从DNN中提取的经济信息的可靠性。未来的研究应研究其他正则化和DNN体系结构、更好的优化算法和稳健的DNN训练方法，以应对DNN的三大挑战，从而从基于DNN的选择模型中提供更可靠的经济信息。
---
分类信息：

一级分类：Economics        经济学
二级分类：General Economics        一般经济学
分类描述：General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> Deep_Neural_Networks_for_Choice_Analysis:_Extracting_Complete_Economic_Informati.pdf (2.79 MB)

2022-6-15 20:43:56 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：神经网络 神经网 substitution elasticities Quantitative

用于选择分析的深度神经网络：提取完整的经济信息进行解释申昊王庆义王金华赵麻省理工学院马萨诸塞州剑桥市马萨诸塞大道77号，美国，2020年9月*摘要虽然深度神经网络（DNN）越来越多地被应用于选择分析，显示出很高的预测能力，但尚不清楚研究人员能在多大程度上解释来自DNN的经济信息。本文证明了DNNs可以提供与经典离散选择模型（DCMs）一样完整的经济信息。经济信息包括选择预测、选择概率、市场份额、替代品替代模式、社会福利、概率导数、弹性、边际替代率和异质时间值。与DCMs不同，DNN可以自动学习领域专家未预先指定的效用函数和行为模式，尤其是当样本规模较大时。然而，当样本量较小时，从DNN获得的经济信息可能不可靠，因为与自动学习能力相关的三个挑战：对超参数的高度敏感性、模型未识别和局部不规则性。第一个挑战涉及平衡DNN近似和估计误差的统计挑战，第二个挑战涉及在DNN训练中识别全局最优的优化挑战，第三个挑战涉及缓解估计函数局部不规则模式的稳健性挑战。为了证明其优势和挑战，我们利用新加坡公布的偏好调查和伦敦公布的偏好数据估算了DNS，从DNS中提取了完整的经济信息列表，并将其与DCMs中的数据进行了比较。

我们发现，聚合过度训练或人口的经济信息比单个观察或训练的分解信息更可靠，并且更大的样本量、超参数搜索、模型集成和有效的正则化可以显著提高从DNN中提取的经济信息的可靠性。未来的研究应调查样本量、更好的集成机制、其他正则化和DNN架构、更好的优化算法和稳健的DNN训练方法的要求，以应对DNN的三大挑战，为基于DNN的选择模型提供更可靠的经济信息。关键词：深层神经网络；机器学习；选择分析；可解释性。*请引用：Wang、Wang和Zhao（2020）。“选择分析的深层神经网络：提取完整的经济信息进行解释。”交通研究C部分：新兴技术118：102701.1。简介离散选择模型（DCM）已被用于研究十年来的个人决策，广泛应用于经济学、市场营销和交通运输[9101]。最近，使用机器学习模型，特别是深度神经网络（DNN）来分析个人决策成为一种新的趋势。DNNs在各个学科中都显示出了非凡的预测能力【63】，在交通领域，DNNs在预测出行模式选择、汽车拥有量、路线选择和许多其他任务方面比DCMs具有更高的预测精度【77、84、111、20、21、54】。

然而，尽管最近取得了一些进展，DNN的可解释性仍相对缺乏研究【85、29、120】：在选择分析的背景下，如何从DNN中获得可靠的经济信息仍不清楚。这项研究表明，DNN可以提供与经典DCM一样完整的经济信息，包括选择预测、选择概率、市场份额、替代模式、社会福利、概率导数、弹性、边际替代率（MRS）和异质时间值（VOT）。经济信息的完整列表可以通过使用DNN中的估计效用和选择概率函数或这些函数的输入梯度来计算。为经济信息解释DNN的过程与解释经典DCM的过程不同。DNN解释必须基于选择概率的全函数，而不是经典DCM中的单个参数。由于DNNs中存在数千个单独的参数，事实证明，利用单独的参数来提取经济信息是毫无意义和必要的。我们将DNN与多项式logit（MNL）模型进行了比较，将其应用于新加坡的旅游模式选择声明偏好数据集和伦敦的显示偏好数据集，显示了我们的方法对不同环境的鲁棒性。这种为经济信息解释DNN的过程可以应用于任何选择分析场景。虽然DNN可以自动揭示效用函数和行为模式，但这种自动效用学习的能力面临三个挑战：（1）对超参数的高度敏感性，（2）模型不确定，（3）局部不规则性。

第一个是指估计的DNN对控制DNN复杂性的超参数的选择高度敏感。第二个是指DNN训练中的优化通常识别局部极小值或鞍点，而不是全局最优值，这取决于DNN参数的初始化。第三个是指DNN具有局部不规则的模式，如爆炸梯度和缺乏单调性，以至于DNN所揭示的某些选择行为是不合理的。这三个挑战分别体现在DNN的统计、优化和鲁棒性讨论中。当样本量较小时，它们会变得更严重，但当样本量较大时，它们会有所缓解。虽然这三个挑战都给解释经济信息的DNN模型带来了困难，但我们的实证实验表明，简单的随机超参数搜索、常见的正则化方法、模型集成和信息聚合可以部分缓解这些问题。本研究做出以下贡献。这是第一项系统讨论DNN在选择分析中对经济信息的解释的研究，并表明DNN可以提供与经典DCM一样完整的经济信息。同时，我们指出了为获得可靠的经济信息而解释DNN的三大挑战，以及它们的理论根源。这些挑战与经典DCM中的挑战不同：DCM甚至没有超参数的概念，模型不识别和局部不规则性通常不是DCM中的问题。

虽然这项研究不能完全解决基于DNN的选择模型中的挑战，但我们证明了使用大样本、超参数搜索、模型集成和正则化方法来提高从DNN中提取的经济信息的可靠性的重要性。本文为交通建模人员提供了实用指南，并为未来的研究人员提供了方法学基准，以进行比较和改进。为了让未来的研究人员复制我们的工作，我们将代码上传到Githubrepository：https://github.com/cjsyzwsh/dnn-for-economic-information.git.The论文结构如下。第2节回顾了关于DCMs和DNN的研究，涉及预测、可解释性、超参数敏感性、模型不确定性和局部不规则性。第三节介绍了计算经济信息的理论、模型和方法。第4节设置了实验，第5节讨论了从DNN获得的经济信息列表。第6节总结了本研究，并讨论了局限性、挑战和未来研究。2、几十年来，文献综述WDCMS一直用于分析交通领域的出行模式选择、出行频率、行程安排、目的地和出发地、出行路线、活动、位置、汽车所有权以及许多其他决策【10、20、11、93、27、2】。虽然需求预测在这些应用中很重要，但所有经济信息都提供了指导政策干预的见解。例如，可以从DCMs计算市场份额，以了解竞争行业的市场力量【101】。出行需求弹性描述了通过改变通行费或补贴对出行行为的影响【94，45】。

VOT作为MRS的一个重要实例，可用于在效益成本分析中衡量运输系统改进后节省时间的货币收益【94，93】。最近，研究人员开始使用机器学习模型来分析个人决策。Karlaftis和Vlahogianni（2011）[55]总结了应用CHDNS的六个运输领域的86项研究。研究人员使用DNN预测出行模式选择【20】、汽车拥有【80】、出行事故【118】、出行者决策规则【24】、驾驶行为【52】、出行分布【73】、分层需求结构【108】、排队长度【65】、停车占用【112】、地铁客流【41】和交通流量【82、68、109、117、28、69】。DNN还用于补充基于智能手机的调查【110】，提高调查效率【91】，合成新人口【17】，以及计算调查数据【30】。在专注于预测准确性的研究中，研究人员经常比较包括DNN、支持向量机、决策树、随机森林和DCM在内的所有分类器，通常发现DNN和RF的性能优于经典DCM【83、78、89、39、20】。在其他领域，研究人员还发现，与所有其他机器学习（ML）分类器相比，DNN在预测方面的性能更优越【33，58】。由于DNN经常被批评为“黑箱”模型，因此最近的许多研究都探讨了如何提高其可解释性[29]。

研究人员通过重新训练一个可解释模型来拟合DNN的预测软标签[48]，可视化进化神经网络中的隐藏层[120，115]，使用显著性或注意图来识别重要输入[67]，通过敏感性分析计算输入梯度[4，90，95，31]，从DNN中提取知识，使用基于实例的方法识别每个类的代表性个体【1、31、92】，或使用局部近似函数使模型更具解释性【85】。在交通领域，只有极少数研究涉及到DNN在选择分析中的可解释性问题。例如，研究人员从DNN中提取弹性值【84】，对NN输入变量的重要性进行排序【39】，或可视化输入-输出关系，以提高对DNN模型的理解【12】。然而，没有研究系统地讨论如何从DNN中计算所有经济信息，也没有研究证明在解释DNN的经济信息过程中会遇到具体的实际和理论挑战。这些挑战至少包括三种类型，它们是特定于DNN而非DCM的。首先，DNN性能对超参数的选择和模型复杂性高度敏感，这本质上是平衡近似和估计误差的统计挑战。从数学上讲，模型性能通过超额误差进行评估，定义为ES[L（^f）-L（f*)],其中，L=Ex，y[L（y，f（x））]和L（y，f（x））是损失函数；f*是真正的数据生成函数；S是样本{（xi，yi）N}。这个多余的误差可以进一步分解：ES[L（^f）-L（f*)] =ES[升（华氏度）-L（fF）+L（fF）-L（f*)], 其中ES[L（^f）-L（fF）]被称为估计误差，ES[L（fF）- L（f*)] 近似误差；FFI是逼近truemodel f的最佳函数*在假设函数空间F中。

复杂模型往往具有较大的估计误差和较小的近似误差，而简单模型则相反。DNN具有非常小的近似误差，因为它已被证明是一个通用近似器[51、50、25]，这也导致了较大的估计误差。DNN中的较大估计误差可以使用统计学习理论进行检验[18、106、103、107、104]。形式上，模型复杂性可以通过Vapnik-Chervonenkis（VC）维度（v）来衡量，该维度提供了DNS估计误差的上限（证据见附录I）。最近，通过使用其他方法[7、3、75、36]，已经取得了进展，为DNN的估计误差提供了更严格的上限。需要注意的是，选择DNNs的超参数是为了控制DNNs的模型复杂性，从而平衡近似误差和估计误差。当近似误差或估计误差较大时，DNN的总体性能较低。研究人员可以通过使用体系结构和正则化超参数、超参数优化方法和模型集成来控制DNN的模型复杂性。在标准反馈中，这种过度误差也可以称为泛化误差，因为它衡量的是将估计的^f推广到其他环境的能力。正向DNN，体系结构超参数包括深度和宽度，正则化超参数包括陆地Lpenalty常数、训练迭代、小批量大小、数据增强、退出、提前停止等【38、16、59、105、116】。为了从大量的超参数中进行选择，研究人员使用了随机搜索[14，13]，网格搜索[13，14]，高斯过程[96]，多重优化[32，66]，甚至再预测学习[121]。

除了常见的正则化超参数外，模型集成是一种特别有用的方法来减少DNN的过度误差。Hansen和Salamon（1990）正式引入了神经网络集成，以提高DNN的可推广性[40]。研究人员证明，集合模型的泛化误差总是小于单个模型的平均值[60]。最近，研究人员使用神经网络集成来预测金融行为和人类活动，表明模型集成优于单个模型【102，53】。在我们的研究中，虽然不可能将所有这些方法结合起来，但我们将证明，几种基线方法在提高DNN中经济信息的可靠性方面是有效的。其次，DNN模型是不可识别的，因为经验风险最小化（ERM）是高维非凸的。鉴于ERM是非凸的，DNN训练对初始化非常敏感[44，35]。通过不同的初始化，DNN模型可以以局部极小值或鞍点结束，而不是以全局最优值结束[38，26]。这个问题在经典MNL模型中没有出现，因为MNL模型的ERM是全局凸的[19]。Decadesago，型号不确定是DNN被丢弃的原因之一【63】。然而，如今，研究人员认为，一些高质量的局部最小值是可以接受的，而训练中的全局最小值可能无关紧要，因为全局最小值往往会超过fit[22]。模型不确定的问题表明，DNN的每次训练都可能导致非常不同的模型，即使是以固定的超参数和训练样本为条件。