完美的婚姻和更多：结合降维，

犯罪数据集可在以下网址公开获取：UKPolice data。7.6.2香港和上海证券跨行业比较我们正在创建另一个金融市场数据的数字示例，以根据在上海和香港证券交易所上市的所有证券的股价和交易量，找出中国和香港的哪些部门更相似（2017年，Kashyap在香港和上海证券交易所首次实现电子连接的时候考虑了这个问题；尽管本研究的主要重点是研究交易成本如何因这两个金融市场的连接而发生变化）。为了进行这项研究，我们可以使用任何可从各种市场数据提供商下载的公开数据集。7.7实施指针（Chaussé2010）是通过广义矩量法GMM（Cochrane 2009）使用R包GMM估计正态分布参数的良好参考。多变量正态分布的数值计算往往是一个困难的问题。（Genz 1992；Genz&Bretz 2009）描述了一种转换，它简化了问题，并将其转化为一种允许使用标准数值多重积分算法进行高效计算的形式。（Hothorn，Bretz&Genz 2001）给出了基于R包mvtnorm的多元正态概率数值计算的指针。（Manjunath&Wilhelm 2012）导出了具有任意矩形双截断的多元正态分布的截断均值和方差的显式表达式。（Wilhelm&Manjunath 2010；Wilhelm 2015）详细介绍了截断多元正态分布的tmvtnorm软件包，包括截断多元正态分布的GMM估计例程。

在（附录15）中，我们列出了一些R代码片段，包括Johnson-Lindenstrauss矩阵变换和对Routinet的修改，以计算Bhattacharyya距离，目前可在R软件包fps中获得。通过利用对数和矩阵特征值的特性，这种修改允许处理更大的数字和维度。8未来研究的可能性在开发距离度量、降维技术和理解维数已被转换的分布的特性方面，有很多研究正在进行。这些研究旨在为实现新技术开发更好的理论基础和更快的算法。我们指出了可能具有潜力的替代方法，首先是一些不太新的方法，然后是一些更新的技术。（Chow&Liu 1968）提出了一种方法，用它的几个低阶分量分布的乘积来近似n维离散分布，使得乘积是这些低阶分布的概率扩展。乘积近似是有效概率分布。仅使用二阶分布的类别。有n（n）- 1） /2二阶近似值，其中最多n- 1可用于近似值。与状态估计相关的不确定性通常可以通过概率分布来表示，概率分布包含了关于状态的所有知识。

卡尔曼滤波器（Kalman 1960；尾注10）利用了以下事实：1）仅给定分布的均值和方差（或多维协方差），关于这个分布，可以做出的最保守的假设是，它是具有给定均值和方差的阿高斯分布；2）将线性算子应用于高斯分布总是会产生另一个高斯分布。考虑到1）和2）的假设，很容易证明卡尔曼滤波器将产生状态均值和方差的最佳估计。状态的均值和方差是可测量的这一要求在实际中并不困难，但在非平凡的应用中，所有观测和过程模型都是线性的这一要求很少得到满足。（Julier&Uhlmann 1996）研究了Kalman滤波器的另一种泛化，该滤波器通过使用关于当前状态的均值和方差信息的新表示来适应概率分布的非线性变换。（Székely，Rizzo&Bakirov 2007；Székely&Rizzo 2009；Lyons 2013）开发了一种新的随机向量相关性度量方法，称为距离相关性。距离协方差和距离相关性与矩协方差和相关性的乘积是相似的，但与相关的经典定义不同，只有当随机向量独立时，距离相关性才为零。这适用于任意且不一定等于维数的随机向量，以及具有有限第一矩的任何分布。（Székely&Rizzo 2013）提出了能量距离，即表征分布相等的随机向量分布之间的统计距离。

能量这个名字来源于牛顿的引力势能（它是两个物体之间距离的函数），并且在统计观测值之间与势能的概念有着优雅的关系。能量统计是统计观测值之间距离的函数。能量统计学的思想是将统计观测视为受统计势能控制的天体，当且仅当一个潜在的统计零假设成立时，该势能为零。我们记录了我们在示例中使用的一些关键简化：1。我们研究的一个关键限制是，我们使用PCA或从整体数据集中随机抽样的asub矩阵来降低维度，以便可用时间序列的长度在可比较的证券数量范围内。对变量使用更长的时间序列将是一种有益的扩展，而真正的应用程序将从更多的历史中受益匪浅。2.我们使用了适用于多元正态分布的Bhattacharyya距离的简单公式。我们在截断的多元正态分布或正态对数正态混合分布上建立的公式可以给出更精确的结果。同样，以后的工作应该研究能够根据欠考虑的数据集确定哪些分布将适用的测试。3.对于第7.2节中的示例，对于每个市场，我们已经研究了七个变量：开盘、收盘、低位、高位、交易量、收盘波动率和交易量波动率。这些变量可以使用多项式距离的表达式进行组合，以得到哪个市场比其他市场更相似的完整表示。

我们的目标是开发这种方法，并在以后的工作中进一步说明这些技术。一旦我们有了跨实体组的相似性度量，就可以执行一组单独的分析，以粗略地选择哪些策略或程序可以跨相似实体传输。例如，在多组证券中，可以构建投资组合，以了解它们对不同解释因素的敏感程度，然后可以使用绩效基准来衡量风险回报关系。当两对实体之间的距离接近时，我们可以观察到连续迭代中JL引理变换的不一致性。值得记住的是，如果我们执行JL引理维度变换的多次迭代（乘以不同的随机矩阵）；在每次迭代中，距离可能略有不同，但在JL引理确定的范围内。尽管如此，在一次迭代中，一对可能看起来比另一对更相似，结果可能会在另一次迭代中改变。与PCA等其他降维技术相比，由于数据丢失，当实体之间的距离太小时，很难知道结果是否准确。对于可能导致这种不一致的距离度量的限制，可以建立理论界限。除此之外，当一个随机变量乘以由JL引理控制的不同随机矩阵以影响相同维度的变换时，可以进行一个巨大的理论研究分支，研究距离度量将下降的时间间隔。需要记住的一个关键点是，关于不同实体相似性的发现是基于所考虑的特定时间段的可用数据。

真正的数据生成过程可能会发生根本性的变化，这些变化通常是未知的，不同时间段的相同实体可能会产生完全不同的结果。因此，任何继续收集生成的相关数据的实际应用程序都应该在移动时间段（滚动）的基础上计算度量，并使用计算的最新结果。不用说，这就提出了一个问题：在我们做出决定时，我们应该利用多少近代历史。虽然我们目前的计量经济学工具无法提供具体的答案，但任何计量经济学指南（Hamilton 1994）都提供了许多实用的帮助和建议。这对大多数（所有？）来说当然是正确的实证数据调查。另一个改进是使距离测量标准化。这可能不仅适用于Bhattacharyya距离，也适用于其他类型的距离度量。例如，方差是一个有用的数字，但它的使用是巨大的，通过使用协方差度量得出的相关性，直观的经验更加丰富。同样，我们需要警惕这条道路，因为任何可以测量的东西都是神奇的；也就是说，总有一些更大或更小的东西，可以表示为需要与有限或极小的概念抗衡。因此，通过标准化某些东西，我们可能会缩小值的范围，但可能有必要保留给我们有意义的比较的重要数字的数量。此外，由于我们希望比较两个以上的实体，因此提出可以同时组合多个距离度量的度量可能会有所帮助。

不过，一次能够结合两个距离度量是很有帮助的，因为这就是我们比较任何两个概率实体的方式；正如在协方差的情况下，不需要排除其他可能性，例如一次组合两个以上。9结论我们讨论了概率分布之间的各种相似性度量。我们已经展示了Bhattacharyya距离和Johnson-Lindenstrauss引理之间的结合，为我们提供了一种新颖实用的方法，可以比较任意两种概率分布。据我们所知，这种结合成了一个例子（例子？）完美和谐的婚姻。我们基于Stein引理的一般扩展证明了协方差和距离度量之间的关系。我们提供了基于六个国家证券价格的数值例子，我们比较了交易量、开盘价、收盘价、价格和交易量的波动性；所有这些都是如何指导这里为实际应用开发的技术。我们还讨论了这种方法如何适用于金融和经济领域之外的众多应用。10致谢和结束语1。索尔布里奇国际商学院的同事们总是对改进我所有的论文提出很多很好的建议；特别是：黄家兴博士、申三古博士、孟星才博士、约瑟夫博士、拉奥·科塔博士、阿耶·门吉斯图·阿莱姆博士、本·阿吉耶门萨博士、塔兰·乌尔克麦斯博士、亚历杭德拉·马林博士、杰曼·罗斯博士、阿万·马哈茂德博士、杰·温·李博士和。金京华（KyunHwa Kim）在我们每月举办的棕色袋子研讨会上提出了一些有趣而棘手的问题，这些问题导致了第4节和第8节的重大改进。

索尔布里奇国际商学院（SolBridge International School of Business）的学生继续为我们的许多论文提供灵感，为我们带来了他们的担忧。在这种情况下，他们担心他们的日常生活会受到大量信息源的轰炸，这向我们表明，减少信息量将有许多潜在好处。许多研讨会参与者，特别是在计量经济学学会和各种金融组织的几次会议上，以及香港城市大学的教员提出了改进手稿中核心结果的方法，并促使我们找到表达我们为什么需要主要结果的直觉的方法。本文中表达的观点和观点，以及任何错误，都是我个人的观点和观点，不一定反映我的任何一个部门或任何其他机构的官方政策或立场。3.在数学中，梅林变换是一种积分变换，可被视为双边拉普拉斯变换的乘法外推（结束注12）。函数f的梅林变换是{Mf}（s）=~n（s）=Z∞xs-1f（x）dx逆变换是M-1φ（x） =f（x）=2πiZc+i∞C-我∞十、-s k（s）d该积分变换与Dirichlet级数理论（结束注11）密切相关，并用于数论、数理统计和渐近展开理论；它与拉普拉斯变换（注13）和傅里叶变换（注14）以及伽马函数和相关特殊函数的理论密切相关。为了避免长时间的讨论，我们只提供一些细节。下面的链接有更多细节：梅林变换，维基百科链接4。在数学中，G函数是由Cornelis Simon Meijer（Meijer 1936）引入的一个非常一般的函数，旨在将大多数已知的特殊函数作为特例包含在内。

这并不是这类函数的唯一尝试：广义超几何函数和MacRobert E函数具有相同的目标，但Meijer的G函数也能够将它们作为特殊情况包括在内。首个定义由Meijer使用一系列；如今，被广泛接受且更为普遍的定义是复平面上的线积分，Arthur Erdelyi在1953年全面介绍了该定义。MeijerG函数，维基百科链接5。在数值分析中，牛顿-科茨公式，也称为牛顿-科茨求积规则或牛顿-科茨规则，是一组基于在等间距点计算被积函数的数值积分公式（也称为求积）。Newton Cotes公式，维基百科链接6。在统计学中，拉奥分数检验，在计量经济学中也称为分数检验或拉格朗日乘数检验（LM检验），是对一个简单的零假设的统计检验，即感兴趣的参数θ等于某个特定值θ。当θ的真值接近θ时，这是最有力的测试。分数测试的主要优点是，它不需要在替代假设或无约束最大似然下估计信息。分数或拉格朗日乘数测试，维基百科链接7。在概率论和统计学中，偏度是实值随机变量关于其均值的概率分布不对称性的度量。偏度值可以是正的或负的，也可以是未定义的。歪斜，维基百科链接8。在概率论和统计学中，峰度（源于希腊语：kyrtos或kurtos，意思是“弯曲、拱形”）是实值随机变量概率分布的“尾部”的度量。

与偏态的概念类似，峰度是概率分布形状的一种描述，就像偏态一样，有不同的方法可以对理论分布进行量化，也有相应的方法可以从总体样本中进行估计。根据所使用的峭度的特殊测量值，对峭度和特殊测量值应如何解释有多种解释。峰度，维基百科链接9。在数学中，欧几里德距离或欧几里德度量是欧几里德空间中两点之间的“普通”直线距离。有了这个距离，欧几里德空间就变成了度量空间。关联范数称为欧几里德范数。旧文献将度量称为毕达哥拉斯度量。欧几里德范数的广义术语是Lnorm或Ldistance。欧几里德距离，维基百科链接10。在统计学和控制理论中，卡尔曼滤波，也称为线性二次估计（LQE），是一种使用随时间观察到的一系列测量值，包含统计噪声和其他不精确性，并产生未知变量的估计值的算法，其估计值往往比仅基于单个测量值的估计值更精确，通过估计每个时间段变量的联合概率分布。卡尔曼滤波器在导航、导航和车辆控制方面有很多应用，尤其是飞机和航天器。此外，卡尔曼滤波器在信号处理和计量经济学等领域的时间序列分析中是一个广泛应用的概念。卡尔曼滤波器也是机器人运动规划和控制领域的主要课题之一，有时也包括在轨迹优化中。卡尔曼滤波器，维基百科链接11。在数学中，狄里克莱级数是任意形式的级数∞Xn=1此处s为复杂序列，anis为复杂序列。