关于有偏相关估计

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《On Biased Correlation Estimation》
---
作者：
Thomas Sch\\\"urmann and Ingo Hoffmann
---
最新提交年份：
2017
---
英文摘要：
  In general, underestimation of risk is something which should be avoided as far as possible. Especially in financial asset management, equity risk is typically characterized by the measure of portfolio variance, or indirectly by quantities which are derived from it. Since there is a linear dependency of the variance and the empirical correlation between asset classes, one is compelled to control or to avoid the possibility of underestimating correlation coefficients. In the present approach, we formalize common practice and classify these approaches by computing their probability of underestimation. In addition, we introduce a new estimator which is characterized by having the advantage of a constant and controllable probability of underestimation. We prove that the new estimator is statistically consistent.
---
中文摘要：
一般来说，应尽可能避免低估风险。特别是在金融资产管理中，股权风险通常以投资组合方差的度量为特征，或间接以由此衍生的数量为特征。由于资产类别之间的方差和经验相关性存在线性依赖关系，因此必须控制或避免低估相关系数的可能性。在目前的方法中，我们将常见做法形式化，并通过计算低估概率对这些方法进行分类。此外，我们还引入了一种新的估计量，其特点是具有常数和可控的低估概率的优点。我们证明了新的估计量在统计上是一致的。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Physics        物理学
二级分类：Data Analysis, Statistics and Probability        数据分析、统计与概率
分类描述：Methods, software and hardware for physics data analysis: data processing and storage; measurement methodology; statistical and mathematical aspects such as parametrization and uncertainties.
物理数据分析的方法、软硬件：数据处理与存储；测量方法；统计和数学方面，如参数化和不确定性。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Risk Management        风险管理
分类描述：Measurement and management of financial risks in trading, banking, insurance, corporate and other applications
衡量和管理贸易、银行、保险、企业和其他应用中的金融风险
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> On_Biased_Correlation_Estimation.pdf (186.64 KB)

2022-6-1 04:44:57 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：偏相关 Quantitative Applications Multivariate Econophysics

关于有偏相关估计*一般而言，应尽量避免低估风险。特别是在金融资产管理中，股权风险通常以投资组合价值（PortfolioVance）的衡量为特征，或间接以由此衍生的数量为特征。由于方差和资产类别之间的经验相关性存在线性依赖关系，因此必须控制或避免不去估计相关系数的可能性。在目前的方法中，我们将常见做法进行规范化，并通过计算低估概率对这些方法进行分类。此外，我们还引入了一种新的估计量，其特点是具有常数和可控的低估概率的优点。我们证明了新的估计量是统计一致的。引言在统计学中，皮尔逊相关系数也被称为皮尔逊r，是衡量两个随机变量X和Y之间线性相关性的指标。Ithas a value between+1 and-1，其中1为总正线性相关，0为非线性相关，以及-1为完全负线性相关。它是由卡尔·皮尔逊根据弗朗西斯·高尔顿在19世纪80年代提出的一个相关想法开发的。高尔顿构思theidea二十年后，相关系数不仅在生物计量学中得到了广泛的应用，而且在实验心理学和统计经济学中也得到了广泛的应用。然而，关于有限样本估计量r的性质，目前只知道很少的结果。

Pearson和Filon【1】以及Sheppard【2】已经证明，估计量r的大样本标准差接近（1-ρ)/√n、 当ρ为真值时。在现代投资组合理论中，一个是对多资产组合变量的估计，这通常取决于正态分布资产组合的估计相关系数。在这种情况下，应避免低估总投资组合风险，并应注意适当确定相关系数。事实上，我们应该意识到，低估的问题与真正的相关性是负相关还是正相关无关。+1附近相关性的低估与-1附近的相关性具有相同的相关性。为了避免低估，在实践中，一种典型的方法是引入一个系统偏差，通过该偏差，估计量r向+1移动。例如，一种广泛使用的方法是，如果估计量r为负，则将其映射到0，如果r>0，则保持不变。显然，r的这种“蛮力”变换产生了一种新的估计量，对于负相关，它的低估概率显著降低。r的另一种典型变换是加上一个恒定的向上移位，如果移位的值超过+1，则r将变为+1。据我们所知，迄今为止，文献中从未明确讨论过此类概念的统计特性。原因可能是标准方法采用的是平均无偏或中值无偏估计量[4][5][6]。这一要求似乎符合大多数目的。

然而，在目前的方法中，主要的兴趣是引入一种系统性的偏见，以考虑医生的偏好。在下一节中，我们简要描述了r的抽样概率密度，之后将广泛使用。然后，介绍了四种不同类型的系统偏差相关估计量。我们考虑他们低估的可能性，这是目前方法分类的主要标准。最后对所有估计量进行了比较。相关的概率密度在下面，让我们考虑独立和二元正态分布随机变量（x，y）。。。，（xn，yn），平均值u，u，方差σ，σ和相关系数ρ。ρ的估计量^r定义为^r=Pni=1（xi- ^ux）（易- ^uy）pPni=1（xi- ^ux）Pni=1（yi- ^uy），（1）而^u是数据的平均值，即^ux=1/nPni=1xind^uy=1/nPni=1yi。现在，通过以下表达式[7][8]p（r |ρ）=n给出了估计量r的概率密度函数p（r |ρ-3πΓ（n- 2） （1）- ρ） （n）-1)/2(1 - r） （n）-4)/2×∞Xk=0Γ（n+k- 1） （2ρr）k，n>2，（2），而Γ（x）是一个称为Euler gammafunction的特殊函数[9]。当其他参数u、u、σ和σ未知，但给出了ρ和n时，该分布对ca-se有效（图1）。在ρ=0的特殊情况下，-1.0-0.50.00.51.00.00.51.01.52.02.5rpHr`ELΡ=0.5Ρ=0Ρ=-0.3图。1： 样本相关估计器r的概率密度p（r |ρ），对于大小为n=20的样本和ρ的几个值。对于ρ的负值/正值，密度向左/向右倾斜。对于ρ=0，密度是对称的（见下表）。密度可以简化为asp（r | 0）=√πΓ（n-1） Γ（n-2） （1）- r） n个-2.（3）r的期望值可以用超热学函数计算。然而，确切的表现主义相当繁琐，但可以显示[5]（第16.32节）that tE[r]=ρ1.-1.- ρ2n+On.

（4） 我们可以看到，^r不是一个平均无偏估计量，因为[r]6=ρ，n的有限值。但在大样本大小n的限制下→ ∞, 期望值趋向于ρ，这意味着^r在统计上是一致的。在这一点上，应该提到的是，存在相关系数的平均无偏估计量，它是完全有效统计量的函数，因此存在唯一的最小方差无偏估计量ρ[8]。然而，她认为无偏见的标准并不是我们想要的。相反，我们的目的是接受对自由的系统性偏见，以减少低估的可能性。在文献中，低估概率等于1/2的估计器被称为中值无偏[4]。在下面的章节中，我们正在寻找低估概率甚至远小于1/2的估计量。all^r的系统有偏估计∈ [-1，1]和常数a，b，c∈ [0，1），让我们定义四种不同类型的有偏估计量，它们都是^r的函数。前三种变换由（分段）线性变换Gi：^r 7定义→ ri，i=1，2，3：▄r=（1- a） ^r+a，（5）~r=（（1- b） ^r^r∈ [-1，0）^r^r∈ [0，1]（6）r=（^r+c^r∈ [-1, 1 - c- ]^r+c+c^r∈ (1 - c- ，1]（7）第一次转换中的常数a是垂直轴在^r=0处的交点，见图2。地图处于线性打开状态[-1，1]，且其在^r=1处的成像点不变。在第二次变换中，垂直轴上的交点在^r=-1由b给出- 由于原点处的扭结，这张地图只是分段线性的。特别值得注意的是b=1的退化情况。这里，对于所有值^r<0，^r被映射为0，并且在其他方面保持不变。第三个变换是与垂直轴的交点c向上平行移动。

当^r=1处有一个扭结时，该图也会分段定义- c- . 与以前一样，这种情况需要特别注意。如图2所示，所有这些转换都具有这样的特性，即其图像的支持度为-1.0-0.50.00.51.0-1.0-0.50.00.51.0r图2：a=0.23（黑色）的估计器▄rfor；rfor b=0.7（蓝色）；特别令人感兴趣的是∧r，forb的退化情况→ 1、然后，r<0时为ris 0，其他颜色不变（蓝色d灰白色）。平行移位▄r（灰色）。（9）中定义了新的估计值（黑点）。未完全覆盖所有ρ的s et∈ [-1, 1]. 因此，对于下面讨论的原因，我们引入了另一个估计器r，它的性质是上的光滑双射变换[-1, 1]. 对于其定义，让我们简单地考虑概率分布的概念ByF（x |ρ）=Zx-1dr p（r |ρ），（8）对于给定的x和ρ，密度p（r |ρ）由（2）给出。对于任何给定的ρ，都是r小于x的概率。选择概念F（x |ρ）表示其对参数ρ的依赖性。考虑到这一点，现在我们来进行以下定义：定义。对于每个固定的置信水平α∈ （0，1），考虑变换Gα：[-1, 1] → [-1，1]~r=Gα（r），（9），由积分方程的解z^rdr p（r | r）=α得出。（10） 应用（8），定义（10）可以由f（r | r）=1重写- α. （11） （10）的目的是确定参数r，使得与调整密度p（r |r）相关的抽样结果具有高于r的高概率不相关。术语“高概率”由α的规定值量化。

例如，这种方法避免了naively将分布参数移动常量值所带来的缺点，从而使密度的支持超出范围[-1, 1].概率分布F是连续且严格单调递增的。这意味着对于每个α∈ （0，1），有一个唯一的估计器r，它是关于^r的平滑函数。此外，边界点^r=±1映射到图像^r=±1，对于llα∈ (0, 1). 图2（黑点）显示了典型情况（α=0.95），图3显示了几个级别的α。^r向上移动近-1比estimatesnear+1强。对于spe c i fic情况α→ 1，r从-^r处1至+1=-1，这样在这个极限下，对于所有的∈ (-1 , +1].对于（5）-（7）和（9）的整个分类，我们接下来介绍了如何测量低估概率的精确概念。低估概率低估概率是一个数量，用于说明样本估计值小于-1.0-0.50.00.51.0-1.0-0.50.00.51.0r的概率=GΑHr\'LFIG。3： 转换图Gα（r），对于高估α=0.999、0.99、0.95、0.5（从左到右）和大小为20的样本的若干确定性。附近的值-1通常比+1附近的值向上移动得更厉害。对于α=0.5，我们有G1/2（r）≈ r、 而不是考虑中的参数。对于其定义，必须知道估计量的参数样本分布。根据（8）的概念，在我们的上下文中，低估的概率形式上由p（~r<ρ）=F（G）给出-1(ρ)|ρ). （12） 右侧是通过应用分别对应于图（5）-（7）或（9）的度量变换来获得的。

对于它的显式计算，我们必须确定相应的逆映射G-因此，让我们从案例1开始：对于（5）中的线性映射，逆映射由g给出-1（▄r）=▄r- a1级- a、 r∈ [2a- 1，1]，（13）带∈ [0，1）。在图4中，我们看到了a的几个值的概率（12）。对于a=0，再现了▄r=^r的普通情况。对于增加a，低估的概率减少。当然，对于▄r<2a，它等于零- 情况2：对于估计量（6），必须分段考虑inver-se映射，并由G给出-1（▄r）=（▄r1-br∈ [b]- 1，0）~r ~r∈ [0，1]（14）对于b∈ [0，1）。特别有趣的是B的简并度→ 1、然后，域的概率权重r<0-1.0-0.50.00.51.00.00.10.20.30.40.5ΡPHr<ΡLFIG。4： a=0.0、0.01、0.05、0.1、0.238、0.5（从上到下）和样本量n=20的估计量（5）的低估概率。情况a=0对应于￠r≡ ^r.对于增加a，估计不足的概率降低-1.0-0.50.00.51.00.00.10.20.30.40.5ΡPHr<ΡLFIG。5： b=0.0、0.01、0.05、0.1、0.5、0.95（从上到下）且样本数n=20时（6）的低估概率。案例b=0对应ds到▄r≡ r.福布→ 1原点处的概率形状趋向于阶跃函数。收缩至o rigin，峰值在零附近增加，因此零处的概率权重保持不变。低估的错误概率如图所示。5、对于案例b→ 1，概率分布变为圆盘连续，并在ρ=0时接近阶跃函数。在图5中，对b=0.95的情况进行了说明。ρ域内≥ 0，所有b的低估概率相同∈ [0，1）因为▄ris与^r相同。-1.0-0.50.00.51.00.00.10.20.30.40.5ΡPHr<ΡLFIG。

6： c=0.0、0.01、0.1、0.21、0.3（从上到下）和样本大小=20时（7）的低估概率。c=0的情况对应于r≡ ^r.所有线路均为→ 情况3：变换（7）的逆式由g给出-1（▄r）=（▄r- cr∈ [c]- 1, 1 - ]（1+c）~r-cИr∈ (1 - , 1].（15） 对于低估概率的计算，我们必须考虑极限→ 必须在计算集成后执行0。结果见图6。随着向上位移的增加，低估的可能性越来越小。所有之前的thr ee案例都有一个共同点，即ρ的低估概率不是常数∈ [-1，1]，但这是一个变化很大的量。另一方面，对于（9）中定义的估计，我们有以下陈述：定理1。给定α∈ (0, 1). 设▄r=Gα（^r）为（9）中定义的估计量。然后，对于每一个样本大小n>2，低估概率（12）是恒量，由p（~r<ρ）=1给出- α. （16） 证明。通过假设，映射Gα是连续且严格单调递增的。因此，Gα是可逆的。设Gα的逆为G-1α. 由于Gα是光滑的，Gα对^r e的导数存在于[-1, 1].通过应用与dr/d^r=G′α（^r）相对应的测量变换，我们可以通过p（r<ρ）=F（G）写出（16）的左侧-1α(ρ)|ρ). （17） 根据定义（11），f（1 7）的右侧等于1- α. 与上面讨论的其他估计量相比，该定理显然显示了（9）的优点。此外，我们还有定理2。（11）中定义的估计值在统计上是一致的。证据为了证明￠r与（11）的一致性，我们认为普通Pearson^r已经知道是一个统计上一致的估计量。

因此，有必要表明→ ^r，表示n→ ∞.对于lar ge n，概率密度（2）以平均ρ和标准偏差（1）的形式近似于正态分布[5][6- ρ)/√n、 在这种情况下，可以执行（10）中左侧的积分。因为对于每个给定的实数>0，存在一个正整数N，因此对于所有N>N，我们有F（^r | r）-erfcrnr- ^r1- r< . （18） 函数erfc（x）通过erfc（x）=1与普通高斯误差积分[9]相关联- erf（x）。现在，由于定义（11），我们可以将（18）中的分配函数替换为1-α. 然后，（18）的左侧可以等于零，经过一些简单的代数操作后，我们根据高斯误差函数得到以下条件：erfrnr- ^r1- r= 2 α - 1.（19）对于每个α∈ （0，1），设qα为方程erf（qα）的实值解/√2) = 2 α - 1、那么，（19）可以等价地写成^r=~r- qα1- r√n、 （20）对于渐近情形n→ ∞, 该表达式变为exa c t，我们发现→ ^r.这证明了估计量^r的一致性。这里应该提到的是，虽然当n为有限时，关系式（20）只是一个近似值，但这个方程已经很好地工作了，即使对于约n的小样本也是如此≥ 20、为了实际目的，我们因此明确地在（9）中写下了映射r=Gα（^r）的大样本近似值，即r=pn+4qα√n^r+4 qα-√n2qα，（21）对于所有n>4qα。这也证实了N的极限行为→ ∞.金融风险管理中有偏相关估计的常见方法已通过分段线性变换形式化。基于这种形式化，我们讨论了它们相应的低估概率。