多任务学习深度神经网络结合显示和陈述

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Multitask Learning Deep Neural Networks to Combine Revealed and Stated
  Preference Data》
---
作者：
Shenhao Wang, Qingyi Wang, Jinhua Zhao
---
最新提交年份：
2019
---
英文摘要：
  It is an enduring question how to combine revealed preference (RP) and stated preference (SP) data to analyze travel behavior. This study presents a framework of multitask learning deep neural networks (MTLDNNs) for this question, and demonstrates that MTLDNNs are more generic than the traditional nested logit (NL) method, due to its capacity of automatic feature learning and soft constraints. About 1,500 MTLDNN models are designed and applied to the survey data that was collected in Singapore and focused on the RP of four current travel modes and the SP with autonomous vehicles (AV) as the one new travel mode in addition to those in RP. We found that MTLDNNs consistently outperform six benchmark models and particularly the classical NL models by about 5% prediction accuracy in both RP and SP datasets. This performance improvement can be mainly attributed to the soft constraints specific to MTLDNNs, including its innovative architectural design and regularization methods, but not much to the generic capacity of automatic feature learning endowed by a standard feedforward DNN architecture. Besides prediction, MTLDNNs are also interpretable. The empirical results show that AV is mainly the substitute of driving and AV alternative-specific variables are more important than the socio-economic variables in determining AV adoption. Overall, this study introduces a new MTLDNN framework to combine RP and SP, and demonstrates its theoretical flexibility and empirical power for prediction and interpretation. Future studies can design new MTLDNN architectures to reflect the speciality of RP and SP and extend this work to other behavioral analysis.
---
中文摘要：
如何结合显示偏好（RP）和陈述偏好（SP）数据来分析旅游行为是一个长期存在的问题。本研究针对这个问题提出了一个多任务学习深度神经网络（MTLDNNs）的框架，并证明了MTLDNNs比传统的嵌套logit（NL）方法更通用，因为它具有自动特征学习能力和软约束。设计了约1500个MTLDNN模型，并将其应用于在新加坡收集的调查数据，重点关注四种当前出行模式的RP，以及将自动驾驶汽车（AV）作为RP之外的一种新出行模式的SP。我们发现，MTLDNN始终优于六个基准模型，尤其是经典NL模型，在这两种RP中的预测精度约为5%和SP数据集。这种性能的提高主要归功于MTLDNNs特有的软约束，包括其创新的体系结构设计和正则化方法，但与标准前馈DNN体系结构赋予的自动特征学习的通用能力无关。除了预测之外，MTLDNN也是可解释的。实证结果表明，AV主要是驾驶的替代品，AV替代品的特定变量在决定AV采用方面比社会经济变量更重要。总体而言，本研究引入了一个新的MTLDNN框架，将RP和SP结合起来，并展示了其理论灵活性和预测和解释的经验能力。未来的研究可以设计新的MTLDNN架构来反映RP和SP的特性，并将此工作扩展到其他行为分析。
---
分类信息：

一级分类：Economics        经济学
二级分类：General Economics        一般经济学
分类描述：General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> Multitask_Learning_Deep_Neural_Networks_to_Combine_Revealed_and_Stated_Preference_Data.pdf (935.8 KB)

2022-6-11 08:35:50 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：神经网络 神经网 Architecture Applications Contribution

多任务学习深度神经网络，将暴露和陈述偏好数据相结合，王申浩；王庆义；金华赵麻省理工学院UG 2019摘要如何结合显示偏好（RP）和陈述偏好（SP）数据来分析旅行行为是一个长期存在的问题。本研究针对这个问题提出了一个多任务学习深度神经网络（MTLDNNs）的框架，并证明了MTLDNNs比传统的嵌套logit（NL）方法更通用，因为它具有自动特征学习和软约束的能力。设计了约1500个MTLDNN模型，并将其应用于在新加坡收集的调查数据中，重点关注四种当前出行模式的RP和SP，其中自动驾驶汽车（AV）是RP之外的一种新出行模式。我们发现，MTLDNN在RP和SPdatasets。这种性能改进主要归功于软约束特定的MTLDNNs，包括其创新的体系结构设计和正则化方法，但与标准前馈DNN体系结构赋予的自动特征学习的通用能力无关。除了预测之外，MTLDNN也是可解释的。实证结果表明，AV主要是驾驶的替代品，在决定AV采用方面，AV替代特定变量比社会经济变量更重要。总的来说，本研究引入了一个新的MTLDNN框架，将RP和SP结合起来，并展示了其预测和解释的理论灵活性和经验能力。未来的研究可以设计新的MTLDNN架构，以反映RP和SP的特性，并将此工作扩展到其他行为分析。1.

简介揭示偏好（RP）和陈述偏好（SP）数据都被广泛用于需求分析，各有利弊。RP数据通常被认为具有更强的外部有效性，但由于覆盖范围有限和属性的高度相关性而存在问题。当研究人员试图了解新属性或替代品的影响时，SP数据是必要的，而由于受访者对调查格式的敏感性和不切实际的假设场景，他们会产生偏见。为了缓解这些问题，研究人员通常使用嵌套logit（NL）方法将它们结合起来，将RP和SP中的备选方案分配给两个具有不同比例因子的巢穴【33、12、6、7】。这种NL方法用于预测未来的出行需求，并根据参数估计检查决定采用某些出行方案的因素。然而，这种NL方法严重依赖于基于领域知识的手工特征工程，与深度神经网络（DNN）中的自动特征学习相比，这种方法可能限制太多，如许多实证研究所示[41、8、17]。这种自动学习特征的能力是由DNN作为通用近似器的理论吸引力所实现的[36、35、18]，因此，DNN在自然语言处理、图像识别和旅行行为分析等领域展示了其非凡的预测能力[20、40、41]。DNN在理论上的吸引力和经验上的预测能力促使我们思考，是否有可能在DNN框架中以比传统NL方法更通用和灵活的方式解决RP和SP结合进行需求分析的经典问题。本文提出了多任务学习深度神经网络（MTLDNN）框架，将RP和SP联合建模为两个不同但相关的任务。

图1显示了一种MTLDNN体系结构，该体系结构从共享层开始，以任务特定层结束，捕捉了任务之间的相似性和差异性【15】。这种体系结构比经典的NL方法更通用，因为它具有自动特征学习和软约束的能力。MTLDNN中的自动特征学习是指基于强大的模型类假设（如DNN）自动学习特征转换的过程，而非NL中依赖研究人员先验知识的手工特征工程。软约束是指MTLDNN体系结构的灵活性和MTLDNN训练过程中使用的正则化方法，而非硬约束，如任务之间的参数共享，通常在NL方法中完成。具体而言，图1中的原型MTLDNN架构是灵活的，因为它可以采用不同的形式，具有不同的共享层和任务特定层，这些层被设计到MTLDNN模型的超参数空间中。在新加坡收集的数据集中进一步研究了MTLDNN框架，该数据集研究了自动驾驶汽车（AV）的采用，在SP调查中，将AV出行模式添加到四种显示的出行模式中。在此应用中，前1名和前10名集成MTLDNN模型的性能始终优于其他六个模型，包括带参数约束的NL（NL-C），这种嵌套logit方法也可以被视为RP和SP之间异方差的汇总估计[44,32]FC&ReLUFC&ReLUFC&ReLUFC&ReLUFC&ReLUFC&ReLUFC&ReLUFC&ReLUFC&ReLUFC&ReLUINPUTSTASK 1 OUTPUTSTASK 2 Outputshared LAYERSTASK-SPECIFIC LAYERSFig。1.

MTLDNN体系结构；此体系结构有3个共享层和3个任务特定层，但它们通常表示Mshared和Mtask特定层；FC表示完全连接的层；直线单位的ReLU。无参数约束NL（NL-NC）、独立多项式logit模型（MNL-SPT）、RP和SP的联合多项式logit模型（MNL-JOINT）、独立DNN模型（DNN-SPT）和RP和SP的联合DNN模型（DNN-JOINT）。具体而言，MTLDNNs在联合RP和SP、单个RP和单个SP数据集的预测准确率约为5%，优于经典基准NL-NC和NL-C模型。为了将这种表现归因于潜在的原因，我们以成对的方式比较了八种模型，消除了TLDNN和NL方法之间的混淆差异。我们发现，这5%的预测精度提高主要是由MTLDNN框架中设计的软约束引起的，而标准DNN架构的简单应用并不能提高模型性能。为了解释MTLDNN的适用性，我们可视化了选择概率函数和输入变量之间的关系，并使用MTLDNN的梯度信息计算了弹性，就像机器学习社区通常所做的那样，以揭示DNN模型的信息[3，56]。结果显示了出行模式如何相互替代，作为替代特定变量和个体特定变量改变其值。这一解释MTLDNNs的过程表明，MTLDNNs不仅可以更准确地预测，而且还可以提供关键见解，至少与classicaltools具有相同的水平。据我们所知，这是首次提出MTLDNN框架，将ERP和SP结合在需求分析中。即使使用这种最简单的MTLDNN框架（图1），我们的分析也显示了其在理论性质和经验预测方面的威力。

由于这种MTLDNN体系结构是众多可能性中最简单的，因此进一步的研究可以探索多种其他MTLDNN体系结构，以结合RP和SP，实现更好的预测和解释【43、28、46、55】。MTLDNN框架还可用于联合分析汽车拥有和出行模式选择【62，75】、活动模式和出行链选择【39，24】以及传统上由结构方程模型（SEM）分析的许多其他应用。此外，MTLDNNs和NL模型之间视觉结构的相似性促使我们提出这样一个问题：MTLDNNs是否可以被视为NL的一般扩展，我们无法回答这个问题，但相信这是未来研究的一个有趣问题。本文的组织结构如下。第2节回顾了MTLDNN模型以及将RP和SP相结合的传统方法。第3节介绍了MTLDNN模型，并讨论了为什么它比NL方法更通用。第4节介绍了实验设置，第5节分析了模型性能、MTLDNNs预测增益的来源以及MTLDNNs中的经济信息。第6节总结了我们的发现，并讨论了未来的研究方向。2、文献综述WRP和SP数据对于出行需求分析都是必要的，但它们来自不同的问题来源。RP数据是有问题的，因为它的属性覆盖范围有限，属性之间的相关性高，背景信息的质量差[7]，尽管它显然具有更好的外部有效性。

至于SP数据，受访者可能无法提供有效答案，因为受访者对调查格式、不切实际的假设情景【58】、NRP和报告态度之间的动态【57】，甚至仅仅是数据收集过程中发生的测量错误【30，29】，尽管SP是测试新定价策略效果的唯一可能数据源，新的公共交通服务或新的出行方式【6，51】。一种常见的补救方法是联合估计RP和SP，从而获得效率并纠正偏差【7】。更具体地说，研究人员通常使用NL模型，通过将RP和SP视为两个选择巢穴来结合RP和SP【33、12、51、47】。例如，Polydoropoulouand Ben Akiva（2001）使用NL方法分析了多种大众交通技术的出行模式选择。Golob等人（1997年）[23]使用相同的方法研究了车辆使用如何取决于车辆和燃料类型的因素。在这些NL建模实践中，研究人员需要做出参数假设，以捕捉RP和SP之间的差异和相似之处【12】。第一个常见的假设是RP和SP选择模型在多大程度上共享相同的参数；例如，RP和SP中的价格和时间系数可以假定相同[51]。第二个常见的假设是，RP和SP的误差项具有不同的随机性，导致系数的大小不同【33，12】。

虽然建模规范的细节可能因研究而异，但这些假设以及20世纪90年代开发的NL方法已成为在选择建模中结合RP和SP的一种标准方法【58、44、70、63】。从机器学习的角度来看，RP和SP的结合可以通过使用theMTLDNN框架来解决，因为RP和SP可以被视为两个不同但高度相关的任务。该MTLDNN框架在应用于许多特定领域时取得了巨大成功，包括自然语言处理（NLP）[17，28]、图像识别[43，46]和医疗保健领域的大规模药物发现[52]。与为每项任务单独训练的模型不同，MTLDNNS改进了泛化，因为它利用了多个领域特定信息源，并在各种数据源的信号中引入了归纳偏差【15】。此外，现实世界中自然会出现多个任务【15】，因此，当多个任务密切相关或松散相关时，MTLDNN应该是一种自然选择。具体而言，Caruana（1997）[15]首先创建了一个基准MTLDNN架构，该架构以共享层开始，以任务特定层结束，如本研究所用（图1）。该MTLDNN体系结构已应用于自然语言处理任务，在没有手工特征工程的情况下展现了最先进的性能【17】。卡鲁阿纳最初的MTLDNN架构后来通过新的MTLDNN架构设计进行了改进，如深度关系网络（DRN）[43]、层次MTLDNN[28]、十字绣网络[46]和水闸网络[55]。与NL方法中的建模关注点类似，所有MTLDNN研究都关注如何控制多个任务的相似性和差异，可以通过设计特定架构或规范化来解决这一关注点。

Caruana的MTLDNNframework通过使用前几层来反映相似性，并使用以下任务特定层来捕捉差异，从而解决了这一问题【15】。Caruana工作后的研究明确设计了MTLDNN架构，以捕捉任务之间的积极和消极关系【46，55】。除了架构设计之外，研究人员还使用各种正则化来控制任务之间的参数距离，例如使用L/Lpgroup LASSO[2，74]，均值和方差正则化[19，37]，迹范数正则化[72]，树引导正则化[38]，orBayesian张量正态先验[43]。虽然与经典NL方法中的参数约束有一些相似之处，但这些约束在描述任务之间的关系时更加通用和灵活。理论本节介绍了MTLDNN模型和NL方法，讨论了MTLDNN比NL更通用的原因，并利用统计学习理论简要讨论了MTLDNN的潜在弱点。3.1. RP和SPLet xr、iand xs、TDE的多任务学习深度神经网络输入RP和SP的变量；r和s代表RP和SP，i∈{1，2，…，Nr}和t∈ {1，2，…，Ns}是RP和SP观测的指数。xr、i、xs、t∈ Rd，其中d表示输入维度。RP和SP的输出选择用yr、iandys、t表示；年，我∈ {0，1}Krand ys，t∈ {0，1}Ks；Krand k是输出的维度。SP通常比RP有更多的替代品，因为SP包括现有市场上没有的新产品（Ks>Kr）。yr、iand ys、皮重向量取零或一个值，yr、iand ys、tis中的每个分量用ykr、i表示∈ {0，1}和yks，t∈ {0, 1}. 由于相互排斥和集体穷举备选方案的约束，Pksyks，t=1和pkrykr，i=1。

krand Ks是RP和SP中交替的索引，所以kr∈ {1，2，…，Kr}和ks∈ {1，2，…，Ks}。如图1所示，RP和SP的特征转换可以用以下形式表示：Vkr，i=（gM，krro 克-1r级o ... o gr）o （总经理o 克-1.o ... o g） （xr，i）（1）Vks，t=（gM，ksso 克-1秒o ... o gs）o （总经理o 克-1.o ... o g） （xs，t）（2），其中mr表示共享层的深度和mt表示任务特定层的深度；gre表示一个共享层的转换；grand gs表示RP和SP中一层的变换。具体而言，g函数（包括gr、gs和g）是相关线性变换的组合：gl（x）=max{Wlx，0}，l 6=M。方程式1和2精确描述了图1中的MTLDNN架构：（gMo 克-1.o ... o g） 表示共享层，而（gM、krro 克-1r级o ... o gr）和（gM、ksso 克-1秒o ... o gs）表示任务特定层。因此，RP和SP中的选择概率函数可以用P（ykr，i；wr，w）=eVkr，iPKrjr=1eVjr，i（3）P（yks，t；ws，w，t）=eVks，t/TPKsjs=1eVjs，t/t（4）表示，其中wrand ws表示grand gs中的任务特定参数；W共享参数ing。