用于选择分析的深度神经网络：提取完全经济

七种情况下预测精度的直方图（每个模型组100次训练）图3a-3g中的每条浅灰色曲线表示一个单独的训练结果，而深色曲线是所有100个模型的集合。在图3c和3g中，由于MNL训练没有变化，因此只显示了一个训练结果。图3展示了DNN能够在大样本和小样本中自动学习选择概率函数的能力。由于样本量大，图3e中的选择概率函数高度集中，非常合理，类似于图3g中的模式。即使样本量很小，图3a和3d中的大多数选择概率函数也大致在减少。当驾驶成本接近于零时，选择概率较高，而当驾驶成本增加时，选择概率变小。从行为角度来看，这种大致递减的模式是合理的。与MNL的选择概率函数（图3c）相比，图3a中Opt DNN的选择概率函数更丰富且更灵活。然而，需要注意的是，由于三个理论挑战，DNN选择概率函数可能过于灵活，无法在小样本中反映真实的行为机制。首先，图3b和3f中随机DNN的较大变化表明DNN模型对超参数的选择很敏感。对于不同的超参数，一些随机DNN的选择概率函数只是简单地定义，没有透露任何有用的信息，而其他的则类似于具有合理模式的选择性DNN。这一挑战可以通过（a）Opt DNNs（8K-SGP）（b）Random DNNs（8K-SGP）（c）MNL（8K-SGP）（d）Opt DNNs（8K-LD）（e）Opt DNNs（80K-LD）（f）Random DNNs（80K-LD）（g）MNL（80K-LD）图3来缓解。

具有驾驶成本的驾驶概率函数（每个模型组100次培训）超参数搜索。例如，与随机DNN相比，Opt DNN可以揭示更合理的经济信息，因为Opt DNN使用特定的架构和正则化超参数，这些参数是根据其高预测精度从超参数搜索结果中选择的。其次，各个Opt DNN培训的巨大差异（图3a、3d和3e）揭示了模型不识别的挑战。鉴于100次培训以相同的培训数据和同一组超参数为条件，Opt DNN的变化只能归因于模型不确定问题，或者更具体地说，是DNN的非凸风险函数最小化的优化困难。由于DNNs的风险函数是非凸的，不同的模型训练可以收敛到非常不同的局部极小值或鞍点。尽管这些局部极小值具有相似的预测精度，但由于从不同的局部极小值中学习到的函数是不同的，这给模型解释带来了困难。例如，在图3a中，三个单独的训练结果（C1、C2和C3）具有非常相似的样本外预测精度（60.2%、59.5%和58.6%）；然而，它们相应的选择概率函数是非常不同的。事实上，100次个人培训中的大多数都有相当高的预测准确率，而他们的选择概率函数彼此不同。

另一方面，Opt-DNN在100次训练中的平均选择概率函数比单独训练的更稳定，表明了模型集成在控制泛化误差和平滑选择概率函数方面的重要性。第三，个人选择概率曲线的形状显示了选择概率函数的局部不规则性。让我们以图3a为例。一些选择概率函数可能对输入值的微小变化很敏感：当驾驶成本从7美元增加到9美元时，选择C1驾驶的概率从96.6%下降到7.8%，表明存在局部爆炸梯度。这种梯度爆炸现象在稳健DNN讨论中得到了承认，因为梯度爆炸会使系统变得脆弱[88，87]。许多训练结果呈现非单调模式。例如，C3代表了一种违反直觉的情况，当驾驶成本超过25美元时，驾驶的可能性开始急剧增加。然而，值得注意的是，这种局部不规则性问题可以通过模型集合和更大的样本量来缓解：图3e中的选择概率函数比图3d中的选择概率函数更规则。5.2.2. 备选方案的替代模式备选方案的替代模式在选项分析中具有重要的实践和理论意义。在实践中，研究人员需要了解市场份额如何随输入变量而变化；理论上，替代模式构成了多项式logit、嵌套logit和混合logit模型之间的关键差异。图4显示了随着驾驶成本的增加，选择概率函数是如何变化的。

通过可视化所有备选方案的选择概率，图4是图3的一步扩展。（a） Opt DNNs（8K-SGP）（b）随机DNNs（8K-SGP）（c）MNL（8K-SGP）（d）Opt DNNs（8K-LD）（e）Opt DNNs（80K-LD）（f）随机DNNs（80K-LD）（g）MNL（80K-LD）图4。具有不同驱动成本的所有备选方案的替代模式Opt DNN的替代模式比随机DNN更合理，比MNL模型更灵活。如图4a所示，当驾驶成本小于20美元时，Opt DNN的替代模式在100个模型上聚合，表明五个备选方案相互替代，因为驾驶概率在降低，而其他备选方案则在增加。当驾驶成本超过20美元时，步行、共享、驾驶和使用AV之间的替代模式仍然揭示了替代的本质。这种合理的替代模式保留在LD数据集中（图4d和4e）。在choicemodeling设置中，选择集中的备选方案通常是替代方案：随着驾驶成本的增加，人们需要从驾驶模式切换到其他出行模式。因此，aggregatedsubstitution模式在很大程度上反映了五种备选方案之间的正确关系。然而，这三个理论挑战也渗透到替代模式中，尤其是在样本量较小的情况下。图4b和4f中的较大变化说明了对超参数的高度敏感性；图4a、4d和4e中的较大变化说明了模型不识别问题；图4a、4d中的单独曲线揭示了局部不规则性。请注意，大样本、超参数搜索和正则化方法可以缓解但不能完全解决这些问题。

例如，在图4a中，当驾驶成本大于20美元时，PT DNN的平均替代模式表明，随着驾驶成本的增加，人们不太可能选择公共交通。作为比较，这两种MNL模式中的替代模式虽然可能限制性极大，但反映了作为替代品的出行模式的替代性。5.2.3. Market SharesTable 2总结了三个模型组在8K-SGP和80K LD数据集中预测的市场份额。我们发现，虽然Opt-DNNs的选择概率函数可能不合理，但Opt-DNNs的总市场份额与真实市场份额非常接近，并且Opt-DNNs预测的市场份额与测试集中的MNL一样精确。具体而言，在8K-SGP和80K-LD数据集的培训和测试集中，Opt DNN的预测市场份额与真实市场份额之间的误差在1.0%范围内。在计算市场份额时，似乎没有出现DNN的三个挑战。由于样本上的聚集，可以消除局部不规则性。正如括号中的小标准差所示，由于PT DNN培训的市场份额非常稳定，模型不确定似乎不是一个问题。由于选择性DNN的市场份额比随机DNN准确得多，因此通过从超参数搜索过程中选择选择性DNN来解决对超参数的高度敏感性问题。比较Opt DNN和MNL也很有趣：虽然MNL保证提供与培训集中真实市场份额完全相同的市场份额，但Opt DNN的预测市场份额与MNL在测试集中的预测市场份额一样准确。

具体而言，我们计算了测试集中OPT DNN和MNL的预测和真实市场份额之间的绝对误差之和。在8K-SGP中，Opt DNNs的绝对误差为4.28%，培训MNL中的一阶条件实际上与培训集中的估计和真实市场份额相匹配。略高于MNL的3.05%；在80K-LD中，Opt DNNs的绝对误差为1.90%，略低于MNL的2.10%。表2：出行方式的市场份额（培训和测试）；每个条目代表100次培训的市场份额平均值，括号中的数字是标准差。面板1。培训设置选择DNN（8K-SGP）随机DNN（8K-SGP）MNL（8K-SGP）真实市场份额10.2%（0.6%）、12.7%（2.4%）、10.6%10.6%公共交通23.1%（1.0%）、20.8%（2.8%）、23.0%23.0%骑乘冰雹10.5%（0.6%）、12.7%（2.4%）、10.7%10.7%驾驶45.6%（0.8%）、41.0%（4.5%）、44.9%44.9%AV 10.6%（0.6%）、12.80%（0 2.4%）10.8%10.8%Opt DNNs（80K-LD）随机DNNs（80K-LD）MNL（80K-LD）真实市场份额17.9%（1.8%）19.7%（3.6%）17.6%17.6%公共交通35.1%（2.5%）、32.7%（3.8%）、35.3%35.3%循环2.9%（0.3%）、6.9%（4.6%）、3.0%3.0%驱动44.1%（2.8%）、40.7%（4.6%）、44.1%44.1%面板2。测试设置选项DNNs（8K-SGP）随机DNNs（8K-SGP）MNL（8K-SGP）真实市场份额9.1%（1.3%）、12.3%（2.7%）、10.34%9.48%公共交通23.4%（2.1%）、21.0%（3.2%）、23.1%23.9%骑行冰雹10.3%（1.2%）、12.7%（2.5%）、10.5%10.8%驾驶46.7%（1.8%）、41.2%（4.9%）、45.2%44.5%AV 10.5%（1.3%）、12.8%（1.8 2.5%）10.8%11.2%可选DNN（80K-LD）随机DNN（80K-LD）MNL（80K-LD）真实市场份额18.0%（1.8%）19.8%（3.6%）17.7%17.3%公共交通35.0%（2.5%）32.6%（3.8%）35.3%34.7%周期2.8%（0.3%）6.9%（4.6%）2.9%2.8%驱动44.2%（2.8%）40.7%（4.6%）44.1%45.1%5.2.4。

社会福利由于DNN有一个隐含的效用解释，我们可以观察社会福利如何随着行动变量改变价值观而变化。为了演示这一过程，我们模拟了一美元的驾驶成本下降，并计算了8KSGP数据集中Opt DNN中的平均社会福利变化。我们发现，在平均100次培训后，Opt DNN模型的社会福利增加了约520美元。有趣的是，这一社会福利变化的幅度（520美元）非常直观，与MNL模型计算的491美元一致。在计算社会福利变化的过程中，我们使用100次培训的平均αi作为个人i的边际效用值，与表1中的公式略有不同。具体而言，公式isPi'αi日志（PKk=1e^Vik）- 日志（PKk=1e^Vik）, 其中αi=SPsαi，s；αi，sre表示每个DNN模型s的个体i的边际效用值；Vik和Vik代表两种不同情况下的效用值。如果不使用“αi”，个人的边际效用值可能会取不合理的值。下一节将详细讨论与分解梯度信息相关的问题。5.3. 基于梯度的解释5.3.1。选择概率函数的梯度选择概率函数的梯度提供了提取更重要经济信息的机会。由于研究人员经常试图了解如何采取行动触发行为变化，因此最相关的信息是选择概率函数对目标输入变量的偏导数。图5显示了选择概率函数的相应导数。

如下所示，选择概率函数中确定的强度和挑战都保留在概率导数中。（a） Opt DNNs（8K-SGP）（b）随机DNNs（8K-SGP）（c）MNL（8K-SGP）（d）Opt DNNs（8K-LD）（e）Opt DNNs（80K-LD）（f）随机DNNs（80K-LD）（g）MNL（80K-LD）图5。选择不同驾驶成本驾驶的概率导数在图5a中，大多数可选DNN，如三条曲线（C1、C2和C3），取负值，并具有倒钟形。这种倒钟形曲线是直观的，因为当价格接近零或不完整时，人们对价格变化不那么敏感，但当价格接近某个临界点时，人们更敏感。OptDNNs显示的形状与MNL模型相似。MNL模型的概率导数为s（x）/x=s（x）（1- s（x））×(V（x）/x） ，大部分为负数，呈非常规则的截断倒贝尔形状，如图5c和5g所示。概率导数也存在对超参数的敏感性、模型不确定性和局部不规则性。随机DNN比Opt DNN揭示了更多不合理的行为模式，因为许多输入梯度为零，表明了选择正确超参数的重要性。图5a、5d和5e中个人培训的变化说明了模型不确定的挑战。通过固定的训练样本和超参数，DNN训练可以产生不同的训练结果，从而为研究人员选择最终模型进行解释带来困难。爆炸性梯度和非单调性问题作为局部不规则性的两个指标，也在图5a和5d中的个人培训中得到了明确说明，尽管在图5e中不太严重。

许多概率导数的绝对值都很大；例如，在图5a中，在C1曲线的峰值处，1美元的驾驶成本增加导致选择概率约6.5%的变化，这远远大于MNL模型。与前面的讨论类似，大样本、超参数搜索、模型集成、正则化和信息聚合可以缓解这些挑战。5.3.2. 弹性为了在输入变量之间进行比较，研究人员经常计算弹性，因为弹性是标准化的导数。考虑到DNN提供了选择概率导数，可以直接从DNN计算弹性。对于MNL模型，计算弹性的公式附在附录IV中。表3和表4给出了关于输入变量的出行模式选择弹性。在面板1中，每个条目表示基于一个Opt DNN模型的测试集中响应者的平均弹性，括号中的值是个体弹性值的标准偏差。面板2是具有线性规格的MNL模型的测试集的平均弹性，括号中的值表示标准偏差。Opt DNN中的平均弹性在符号和量级方面都是合理的。我们强调了旅行模式与其自身替代特定变量之间的弹性。这些突出显示的弹性均为负值，这是非常合理的，因为较高的旅行成本和时间应导致采用相应旅行模式的可能性较低。

在表3中，尽管DNN中弹性系数的相对大小与MNL模型相似，但DNN模型中的大小高于MNL模型的典型结果。例如，DNN模型表明，公共交通成本、步行时间、等待时间和车内旅行时间增加1%，导致使用公共交通的概率分别减少了4.3%、1.7%、2.5%和1.6%，这些数字的绝对大小大于但相对大小与MNL模型相似，其中相应的概率减少了0.56%，0.31%、0.26%和0.48%。在之前的讨论中，DNN模型的梯度大于MNL模型的梯度，这一绝对震级的差异已经表现出来。此外，DNN中突出显示的自弹性总体上大于交叉弹性值，这也是合理的。弹性的大标准差揭示了局部不规则性。对于这6.5%，似乎比图3中的值小得多。