完美的婚姻和更多：结合降维，

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《The Perfect Marriage and Much More: Combining Dimension Reduction,
  Distance Measures and Covariance》
---
作者：
Ravi Kashyap
---
最新提交年份：
2019
---
英文摘要：
  We develop a novel methodology based on the marriage between the Bhattacharyya distance, a measure of similarity across distributions of random variables, and the Johnson-Lindenstrauss Lemma, a technique for dimension reduction. The resulting technique is a simple yet powerful tool that allows comparisons between data-sets representing any two distributions. The degree to which different entities, (markets, universities, hospitals, cities, groups of securities, etc.), have different distance measures of their corresponding distributions tells us the extent to which they are different, aiding participants looking for diversification or looking for more of the same thing. We demonstrate a relationship between covariance and distance measures based on a generic extension of Stein\'s Lemma. We consider an asset pricing application and then briefly discuss how this methodology lends itself to numerous market-structure studies and even applications outside the realm of finance / social sciences by illustrating a biological application. We provide numerical illustrations using security prices, volumes and volatilities of both these variables from six different countries.
---
中文摘要：
我们基于Bhattacharyya距离和Johnson-Lindenstrauss引理（降维技术）之间的结合，开发了一种新的方法。由此产生的技术是一个简单但功能强大的工具，可以在代表任意两种分布的数据集之间进行比较。不同实体（市场、大学、医院、城市、证券集团等）对其相应分布的不同距离度量的程度告诉我们它们的不同程度，有助于参与者寻求多样化或寻找更多相同的东西。基于Stein引理的一般扩展，我们证明了协方差和距离度量之间的关系。我们考虑一个资产定价应用，然后通过举例说明一个生物应用，简要讨论该方法如何适用于大量市场结构研究，甚至金融/社会科学领域之外的应用。我们使用六个不同国家的证券价格、交易量和这两个变量的波动率提供了数字说明。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Trading and Market Microstructure        交易与市场微观结构
分类描述：Market microstructure, liquidity, exchange and auction design, automated trading, agent-based modeling and market-making
市场微观结构，流动性，交易和拍卖设计，自动化交易，基于代理的建模和做市
--
一级分类：Mathematics        数学
二级分类：Probability        概率
分类描述：Theory and applications of probability and stochastic processes: e.g. central limit theorems, large deviations, stochastic differential equations, models from statistical mechanics, queuing theory
概率论与随机过程的理论与应用：例如中心极限定理，大偏差，随机微分方程，统计力学模型，排队论
--
一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
-->

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：distribution Applications Quantitative illustration Illustrating

完美婚姻及更多：结合降维、距离测量和协方差分析，香港城市大学国际商学院，2009年7月15日关键词：降维；约翰逊·林登斯特劳斯；巴塔查里亚；距离测量；协方差；分配不确定性JEL码：C44统计决策理论；C43指数和聚合；G12资产定价数学主题代码：60E05分布：一般理论；62-07数据分析；62P20经济应用编辑版：卡希亚普，R.（2019）。完美婚姻还有更多：结合降维、距离度量和协方差。物理A：统计力学及其应用，XXX，XXX-XXX。内容1摘要42导论43方法学基础文献综述53.1 Bhattacharyya距离。53.2尺寸缩减。94减少尺寸的直觉104.1飞镖游戏。104.2四个物理维度的优点和局限性。115方法创新115.1正态对数正态混合。115.2正常产品。135.3截断正态/多元正态。155.4离散多元分布。195.5协方差和距离。

206市场结构、微观结构和其他应用246.1资产定价应用。256.2生物应用。267实证说明277.1不同市场的证券价格比较。277.2证券交易量、高低开盘价格和交易量价格波动率的比较。307.3演讲量：交易量比较。307.4昂贵的处方：价格比较（开盘、收盘、高价和低价）。327.4.1打开-关闭。327.4.2高-低。347.5控制（波动性）偏差：比较收盘价/成交量波动率。367.6其他补充案例研究。397.6.1英国犯罪分析。397.6.2香港和上海证券行业比较。397.7实施指针。398未来研究的可能性409结论4210确认和结束注释4311参考文献4712附录：四个物理维度的优点和限制示例5713附录：不确定性和意外后果5814附录：数学证明5914.1关键结果的符号和术语。

5914.2命题1的证明。5914.3命题2的证明。6214.4提案3的证明。6314.5命题4的证明。6514.6命题5的证明。7014.7提案6的证明。7114.8提案7的证明。7215附录：R代码片段721摘要我们基于Bhattacharyya距离和Johnson-Lindenstrauss引理（一种降维技术）之间的结合，开发了一种新的方法。由此产生的技术是一个简单但功能强大的工具，可以在代表任意两个分布的数据集之间进行比较。不同实体（市场、大学、医院、城市、证券集团等）对其相应分布具有不同距离度量的程度告诉我们它们的差异程度，有助于参与者寻找多元化或寻找更多相同的东西。基于Stein引理的一般扩展，我们证明了协方差和距离度量之间的关系。我们考虑了一个资产定价应用，然后简要讨论了该方法如何通过举例说明一个生物应用，为众多市场结构研究甚至金融/社会科学领域之外的应用提供支持。

我们使用六个不同国家的证券价格、交易量和这两个变量的波动率提供了数字说明。2简介社会系统中参与者的不同行为（也可被视为不可预测的行为）将导致意外后果，只要参与者可以自由观察结果并修改其行为，这种影响就会持续（Kashyap 2017；附录13讨论了不确定性和意外后果）。意外后果及其连体孪生兄弟——不确定性正在促使人们停止收集数据以改进决策，这可能会导致更多的数据分析和更多的行动，导致一个不断增加数据收集和行动的循环，引发信息爆炸（Dordick&Wang 1993；Korth&Silberschatz 1997；Sweeney 2001；Fuller 2010；Major&SavinBaden 2010；Beath，Becerra Fernandez，Ross&Short 2012）。（Kashyap 2015）考虑减少社会系统复杂性的方法，这可能是减轻意外结果影响的一种方法。虽然尝试设计不太复杂的系统是值得努力的，但在某些情况下，降低复杂性可能很难实现，尽管成功地降低了复杂性，但处理不确定性的替代技术是值得称赞的互补追求（Kashyap 2016）。虽然可以观察历史趋势（或其他属性），并在数量较少的实体之间进行比较；在大型系统中，有许多组件或贡献元素，这可能是一项艰巨的任务。

在本文中，我们通过提供简单但强大的指标来比较大型实体组，提出了跨较小元素聚合的定量度量，可以帮助决策者。我们考虑一种相似性度量，即变量分布的Bhattacharyya距离。基于Bhattacharyyadistance和Johnson-Lindenstrauss引理（JL引理）之间的结合，我们开发了一种新的方法，这是一种降维技术；为我们提供了一个简单而强大的工具，可以在代表任意两种分布的数据集之间进行比较。不同实体（市场、大学、医院、国家、城市、农场、森林、证券集团等）对其相应分布的不同程度的不同程度，告诉我们它们的不同程度，帮助参与者寻找多样化或更多相同的东西。计算任意两个随机变量之间的距离度量（这两个变量都可以是多变量，具有不同数量的分量随机变量或观测值），我们利用JL引理减少其中一个随机变量的维数（分量随机变量的数量或观测值的数量），这样两个随机变量的维数相同，我们就可以应用距离度量。我们基于Stein引理的一般扩展证明了协方差和距离测度之间的关系。我们考虑了一个资产定价应用程序，并通过举例说明一个生物应用程序（第6、6.1、6.2节），简要讨论了该方法如何适用于众多市场结构和资产定价研究，甚至金融/社会科学领域之外的应用。

我们通过比较六个市场的股票价格、交易量、价格波动率和交易量波动率（第7.1节和第7.2节），说明了我们的技术在实践中的一些使用方法。我们的工作产生了一个意想不到的结果，这是对大量有关距离测量和相关统计技术文献的回顾，对于任何试图将相应技术应用于本文所述问题以及许多未提及但可能相关的问题的人来说，这都是有用的。结果和讨论来源于统计学、概率论、经济学/金融学、通信系统、模式识别和信息理论；成为如何将不同领域的元素结合起来，为特定领域提出的问题提供答案的一个例子。所有的命题都是新的结果，它们依赖于现有的结果，这些结果是作为引理给出的，没有证据。这样的方法可以确保结果具有指导意义，并立即适用于更广泛的受众。3方法论基础文献综述3。1 Bhattacharyya距离我们使用Bhattacharyya距离（Bhattacharyya 1943；1946）作为我们想要比较的两个实体的概率分布之间的相似性或不相似性的度量。这些实体可以是两种证券、证券集团、市场或我们感兴趣研究的任何统计人群。Bhattacharyya距离定义为Bhattacharyya系数的负对数。DBC（π，π）=-ln[ρ（pi，pi）]（1）这里，DBC（pi，pi）是两个多项式总体之间的Bhattacharyya距离，每个多项式总体由k个类别或类组成，其相关概率为p，p。。。，和p，p。。。，分别是。

对于离散和连续概率分布，Bhattacharyya系数ρ（pi，pi）的计算如下所示。ρ（pi，pi）=kxipppi（2）ρ（pi，pi）=Zqpi（x）pi（x）dx（3）Bhattacharyya对测量的原始解释是几何的（Derpanis 2008）。他考虑了两个多项式总体，每一个都由k个范畴或类组成，其相关概率为p，p。。。，和p，p。。。，分别是。然后，asPkipi=1和PKipi=1，他指出(√P√pk）和（pp，…，ppk）可以看作是k中两个向量的方向余弦-维度空间指的是正交坐标轴系统。巴塔查里亚用两个位置向量之间的角度的平方来衡量两个群体之间的差异。如果θ是向量之间的角度n:ρ（pi，pi）=cosθ=kXippipi（4），那么如果两个总体是相同的：cosθ=1对应于θ=0，因此我们看到定义背后的直觉动机，因为向量是共线的。Bhattacharyya进一步表明，如果两个群体具有相同数量的变量，则通过极限情况，可以获得以任何方式定义的两个群体之间的差异度量。因此，系数的值介于0和1.0之间≤ ρ（pi，pi）=kxipppi=kxipipi≤vuutkXipi=1（5）0≤ DBC（π，π）≤ ∞ （6） 这里，最后一个不等式来自詹森不等式。

（Comaniciu，Ramesh&Meer 2003）如下图所示对其进行修改，并证明被称为修改后的Bhattacharyya度量的替代度量d（π，π）遵循所有度量公理：正、对称、相同两个元素为零，并满足三角形线质量。d（π，π）=q1- ρ（pi，pi）（7）当应用于两个单变量正态分布的情况时，我们得到了Bhattacharyya距离的以下公式（Lee和Bretschneider 2012）。DBC-N（p，q）=lnσpσq+σqσp+2+（up- uq）σp+σq（8） 给，DBC-N（p，q）是p和q正态分布或类之间的Bhattacharyya距离。σpis是p的方差-th分布，upis是p的平均值-th分布和p、q是两种不同的分布。关于Bhattacharyya距离的原始论文（Bhattacharyya 1943）提到了两个以上种群的自然延伸。对于一个M种群系统，每个系统都有k个随机变量，系数的定义变成，ρ（p，p，…，pM）=Z··Z[p（x）p（x）…pM（x）]Mdx··dxk（9），对于两个多元正态分布，DBC-mn（p，p）是两个多变量正态分布p，p和pi之间的Bhattacharyya距离~ N（ui，∑i）。DBC-mn（p，p）=（u- u）T∑-1(u- u）+lndet∑√det∑det∑（10） ui和∑i是分布的均值和协方差，∑=∑+∑。我们需要记住，离散样本可以存储在形式为a和B的矩阵中，其中，n是观测的数量，m表示两个矩阵捕获的变量数量。Am×n~ N（u，∑）（11）Bm×N~ N（u，∑）（12）Bhattacharyya测度在通信、模式识别和信息理论中找到了许多应用（Mak和Barnard 1996；郭荣、佩奇和敏慧1996）。

其他发散度量包括马氏距离（Mahalanobis 1936），它是一个点和分布之间距离的度量，Kullback-Leibler（KL）发散（Kullback&Leibler 1951）和Hellinger或Matusitameasure，DH-M（pi，pi），（Hellinger 1909；Matusita 1955）与Bhattacharyya距离有关，因为将Matusita距离最小化相当于将Bhattacharyya距离最大化。KL测量是不对称的，当应用于正态分布或斜态正态分布时，（Duchi 2007；Contreras Reyes&Arellano Valle 2012）对其进行了讨论。在（Aherne，Thacker&Rockett 1998）中，Bhattacharyyac系数与χ近似-度量（卡方度量），同时避免了比较均为零的分布实例时出现的奇异性问题。DH-M（pi，pi）=kXi√圆周率-ppi= 2.- 2ρ（pi，pi）（13）χ（pi，pi）=kXi（pi）- 对于离散概率分布P和Q，Kullback–Leibler散度，DKL（P kQ），对于连续随机变量的分布P和Q，Kullback–Leibler散度定义为（Bishop2006）以下的积分，其中，p和q表示p和q的密度。（Huzurbazar 1955）证明了一个显著的性质，即对于所有承认有效统计的分布，Kl散度的精确形式是分布参数的显式函数。DKL（pkq）=Z∞-∞p（x）logp（x）q（x）dx（16）（Schweppe 1967b）根据各种条件期望滤波器（物理上可实现的线性系统）对高斯过程的影响，发展了KL散度和Bhattacharyya距离的新表达式。