多样性及其分解为多样性、平衡性和差异性

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Diversity and its decomposition into variety, balance and disparity》
---
作者：
Alje van Dam
---
最新提交年份：
2019
---
英文摘要：
  Diversity is a central concept in many fields. Despite its importance, there is no unified methodological framework to measure diversity and its three components of variety, balance and disparity. Current approaches take into account disparity of the types by considering their pairwise similarities. Pairwise similarities between types do not adequately capture total disparity, since they fail to take into account in which way pairs are similar. Hence, pairwise similarities do not discriminate between similarity of types in terms of the same feature and similarity of types in terms of different features. This paper presents an alternative approach which is based similarities of features between types over the whole set. The proposed measure of diversity properly takes into account the aspects of variety, balance and disparity, and without having to set an arbitrary weight for each aspect of diversity. Based on this measure, the \'ABC decomposition\' is introduced, which provides separate measures for the variety, balance and disparity, allowing them to enter analysis separately. The method is illustrated by analyzing the industrial diversity from 1850 to present while taking into account the overlap in occupations they employ. Finally, the framework is extended to take into account disparity considering multiple features, providing a helpful tool in analysis of high-dimensional data.
---
中文摘要：
多样性是许多领域的核心概念。尽管多样性很重要，但没有统一的方法框架来衡量多样性及其多样性、平衡和差异三个组成部分。当前的方法通过考虑类型的成对相似性来考虑类型的差异。类型之间的成对相似性并不能充分反映总体差异，因为它们没有考虑到成对的相似性。因此，成对相似性不会区分相同特征的类型相似性和不同特征的类型相似性。本文提出了一种基于整个集合中类型之间特征相似性的替代方法。拟议的多样性衡量标准适当考虑了多样性、平衡性和差异性等方面，而不必为多样性的每个方面设定任意的权重。基于此度量，引入了“ABC分解”，它为多样性、平衡和差异提供了单独的度量，允许它们单独进入分析。该方法通过分析1850年至今的产业多样性来说明，同时考虑到他们所雇佣职业的重叠。最后，将该框架扩展到考虑多个特征的差异，为高维数据分析提供了一个有用的工具。
---
分类信息：

一级分类：Quantitative Biology        数量生物学
二级分类：Populations and Evolution        种群与进化
分类描述：Population dynamics, spatio-temporal and epidemiological models, dynamic speciation, co-evolution, biodiversity, foodwebs, aging; molecular evolution and phylogeny; directed evolution; origin of life
种群动力学；时空和流行病学模型；动态物种形成；协同进化；生物多样性；食物网；老龄化；分子进化和系统发育；定向进化；生命起源
--
一级分类：Economics        经济学
二级分类：General Economics        一般经济学
分类描述：General methodological, applied, and empirical contributions to economics.
对经济学的一般方法、应用和经验贡献。
--
一级分类：Physics        物理学
二级分类：Data Analysis, Statistics and Probability        数据分析、统计与概率
分类描述：Methods, software and hardware for physics data analysis: data processing and storage; measurement methodology; statistical and mathematical aspects such as parametrization and uncertainties.
物理数据分析的方法、软硬件：数据处理与存储；测量方法；统计和数学方面，如参数化和不确定性。
--
一级分类：Physics        物理学
二级分类：Physics and Society        物理学与社会
分类描述：Structure, dynamics and collective behavior of societies and groups (human or otherwise). Quantitative analysis of social networks and other complex networks. Physics and engineering of infrastructure and systems of broad societal impact (e.g., energy grids, transportation networks).
社会和团体（人类或其他）的结构、动态和集体行为。社会网络和其他复杂网络的定量分析。具有广泛社会影响的基础设施和系统（如能源网、运输网络）的物理和工程。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> Diversity_and_its_decomposition_into_variety,_balance_and_disparity.pdf (590.49 KB)

2022-6-14 05:11:53 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：多样性 差异性 Similarities Quantitative Contribution

多样性及其对多样性、平衡性和差异性的分解乌得勒支大学复杂系统研究中心（CCSS）可持续发展研究所，乌得勒支大学2009年2月27日电子邮件：A。vanDam@uu.nlAbstractDiversity是许多领域的核心概念。尽管多样性很重要，但没有统一的方法论框架来衡量多样性及其多样性、平衡和差异三个组成部分。当前的方法通过考虑它们的成对相似性来考虑类型的差异。类型之间的成对相似性并不能充分反映总体差异，因为它们没有考虑到成对的相似性。因此，成对相似性不会区分相同特征下的类型相似性和不同特征下的类型相似性。本文提出了一种基于整个集合中类型之间特性相似性的替代方法。拟议的多样性衡量标准恰当地考虑了多样性、平衡和差异的各个方面，而不必为多样性的每个方面设定任意的权重。基于此度量，引入了“ABC分解”，它为多样性、平衡和差异提供了单独的度量，允许它们单独进入分析。该方法通过分析1850年至今的产业多样性来说明，同时考虑到他们所从事的职业的重叠。最后，将该框架扩展到考虑多个特征的差异，为高维数据分析提供了一个有用的工具。关键词：希尔数、α多样性、β多样性、熵、聚合、互信息1简介多样性是广泛科学领域的核心概念。

在自然科学中，它通常与系统的功能特性有关，比如生态系统的稳定性[12,21]。在社会科学中，多样性的概念是关于重组创新、区域发展、文化进化和科学的理论的关键。但究竟什么是多样性？如何衡量多样性？最近的框架强调多样性包括三个方面[1、13、14、20]。首先，品种描述了存在的不同类型、物种或类别的数量。种类以所使用的分类或分类学中的类型总数为界限。其次，平衡描述了个人或元素如何分布在这些类型中。当元素集中在少数类型时，平衡较低，而高平衡则表明分布更均匀。最后，这种差异考虑了被认为在某些给定特征或特征方面彼此不同的类型的程度。如果所考虑的类型非常相似，则它们的差异很小。沿着这三个维度中的任何一个维度的增加都会对总体多样性的增加作出反应。因此，对多样性的适当衡量应该考虑到所有三个方面。尽管多样性作为一个概念很重要，但没有统一的方法论框架来衡量和分析多样性的三个维度。过去，大多数多样性指数甚至没有考虑到这种差异。最近，有人试图将差异纳入多样性的衡量标准，方法是在所考虑的类型之间加入一些成对距离或相似性的衡量标准。例如，拉奥的平方熵（quadraticentropy）[16]，于[20]被引入社会科学，其中被称为拉奥-斯特林多样性。

它将多样性表示为类型之间的平均距离，由它们的相对频率来衡量。最近，人们发现，Rao的二次熵可以从一类更一般的多样性度量中推导出来，这类度量考虑了类型之间的成对相似性[10]。然而，使用成对相似性来衡量多样性会导致实践和概念问题。一个实际问题是，根据文献[20]中使用的术语，有许多不同的方法可以推断成对的相似性，但这些概念在不同领域有不同的名称，例如生态学中的“丰富度”、“均匀度”和“相似性”。数据[24，27]，因此，任何基于成对相似性的多样性度量都需要特别选择特定的相似性度量。此外，还不清楚这样一个指数应该在多大程度上衡量差异与多样性和平衡[20]。最重要的是，仅考虑类型之间的成对相似性可能无法充分捕获总体差异，因为成对相似性没有考虑到成对的相似方式。使用成对相似性，无法区分所有类型在相同特征方面相似而在不同特征方面相似的情况。两者都可能导致差异的不同值。本文提出了一个衡量多样性的框架，它不依赖于类型之间的成对相似性。相反，通过查看整个集合中类型之间的特征重叠来考虑差异。这是通过借鉴生态学[26]中的α、β和γ多样性概念以及[9]中引入的相应多样性分解来实现的，该分解基于希尔数[6]。

其结果是一种多样性度量，它同时包含多样性、平衡性和差异性，并具有“成分单位数”的自然解释【22】。在此基础上，我引入了“ABC分解”，它可以将多样性分解为多样性、平衡性和差异性的单独度量。这使得我们能够研究这些维度在不同系统中的不同作用。该框架与不确定性的信息论度量密切相关，多元信息理论的使用表明了如何将该度量扩展到多个维度上的差异。这导致了两个关于给定多个特征集的类型多样性的结果，这取决于所涉及变量的依赖结构。首先，当不同的特征是独立的时，考虑多个特征的多样性就会成倍增加。其次，如果第二个特征集和类型在条件上独立于第一组特征，那么在测量多样性时，可以忽略其他特征。我将按以下步骤进行。第2节从一个使用成对相似性无法正确量化差异的情况的示例开始。随后，介绍了贝塔多样性的概念以及主要结果，即多样性度量，将差异视为一组特征的重叠。第3节接着介绍了多样性分解为多样性、平衡性和差异性度量。作为一个例子，我将拟议的措施应用于历史数据，以描述美国行业多样性的变化，同时考虑到行业就业的差异。第4节展示了如何扩展框架以考虑多组功能。

我最后简要讨论了结果。2分解多样性一个例子考虑一个区域，其中某些经济活动以产业的形式出现。这些行业可以被认为是由一组特定的投入或特征组成的。我们将用字母在集合S中表示这些特征，用单词在集合S中表示行业。例如，人们可能会认为字母是企业从事特定行业所需的职业，用单词表示。单词的多样性取决于不同单词的数量（多样性）、它们的相对频率（平衡性）以及它们在组成字母方面的相似性（差异性）。添加字母组成相似的单词对多样性影响不大，而添加由许多新字母组成的单词可能会大大增加多样性。一个区域中单词和字母的组成可以表示为图1所示的无分支网络。在所示的三种情况下，变化量相等3（有三个唯一的单词），平衡量最大（每个单词的相对频率pi=1）。这三种情况下，单词的差异是不同的，这取决于单词是如何由字母组成的。在考虑差异的同时量化多样性的一种常见方法是考虑类型之间的成对相似性【10、16、20】。计算成对相似性可以解释为将二部网络“投影”到一个加权网络上，其中节点是类型，扭曲的边表示特征重叠方面的成对相似性（见图1）。

这里我们考虑Jaccard相似度sij，它将相似度表示为共享特征数除以两种类型使用的特征总数。拉奥-斯特林多样性就是这样一个度量的例子，它被计算为[16，20] =Xij（1- sij）pipj。该度量通过对所有类型求和来综合变化，通过考虑相对频率pi来综合平衡。然后，通过根据类型之间的距离对每对类型进行加权来考虑差异。这样，低相似度的配对比高相似度的配对对多样性的贡献更大。在图1中的第一种情况下，差异最大（单词之间没有字母重叠），Rao Stirling多样性减少到 =Pij=因为所有对的sij=0。对于其他两种情况，所有对的Jaccard相似性由sij=给出。由于这两种情况下的成对相似性是相同的，因此基于这些成对相似性的任何多样性度量都将为这两种情况提供相同的多样性。事实上，Rao Stirling多样性的计算表明 =Pij（1-)=对于这两种情况。然而，请注意，图1中后两种情况的特征数量有所不同。在两个具有相似多样性和平衡性的功能集合中，由更多不同功能组成的集合更具多样性。因此，我们预计图1中的中间情况会有更高的多样性。由于中间和最后一个案例的预测网络是相同的，这种差异无法通过基于这些相似性的多样性度量来捕捉。相反，多样性度量应该考虑整个类型集合中的重叠特征，而不是所有类型对。

当前论文中提出的基于交互信息的度量准确地反映了这两种情况在成分上的差异。希尔数在我们对多样性的测量中，我们建立在希尔数的框架上，该框架为在不考虑差异的情况下测量多样性提供了统一的数学框架[6，8]。HillNumber将多样性定义为类型相对频率的广义加权平均值的倒数。在这种定义中，如果类型平均罕见，即类型的平均份额较低，则集合是不同的。Hill数满足度量多样性的许多公理化要求，包括数字1中的对称性、连续性和单调性- sijgives表示一对单词之间的“Jaccard距离”或相异性。A1 2 3BCDEFGHIS0SDABCDEFGHIB1 2 3BCDEFGS0SEABCDECFG151515C1 2 3BCDEFS0SFABCCDE BEF1515图1：A、B和C显示了正文中讨论的两部分网络。人们可以想象蓝色节点代表三个行业（文字），绿色节点代表九个行业（字母），这九个行业是该行业的特征。D、 E和F表示相应的投影行业网络，其中边缘权重由行业之间的Jaccard相似度给出。在A和D中，职业没有重叠，行业之间的成对相似性为0，如D中没有边所示。Rao-Stirling多样性由下式得出 =. B和E显示了一种情况，即各行业总共使用七种职业，每个行业之间的相似性等于sij=。C和F显示的情况是，只有六种职业存在，并且所有成对的相似性再次出现。

虽然B的职业比C多一个，但它们的投影E和F是相同的，因此，基于成对相似性的任何多样性度量将为这两种情况分配相同的多样性。TheRao Stirling多样性由下式给出 =对于这两种情况。物种数量【1】。另一个关键属性是复制原则，该原则指出，将两个不共享任何类型但具有相等分布的集合汇集在一起，将产生一个新集合，其多样性将是原始集合的两倍[6]。希尔数产生了一个多样性度量的参数族，其中一个参数q决定了人们在多样性度量中对稀有类型的权重。当q=1时，稀有物种和普通物种的重量相等，希尔数等于香农熵的指数：D（S）=eH（X）=e-皮皮洛格皮。（1） 这里，S是一组具有类型i和相对频率pi的元素，X是一个随机变量，代表从S中随机抽取的元素的类型i。关于Hill数及其与Shannon熵的关系的更详细讨论见附录a。【9】中显示，q=1的Hill数，即Shannonentropy的指数，是满足所有公理化要求并允许在存在组的情况下分解组件内部和组件之间独立的唯一度量。希尔数也被称为“真正的多样性”，与指数相对，因为生态学和经济学中的许多现有多样性指数最初是基于启发式引入的，现已证明是希尔数的转换[8]。

特别是，方程（1）显示了香农熵（Shannon熵）是一种流行的多样性指数，但实际上是一种不确定性的度量（它的单位为“位”或“NAT”），它可以如何转换为多样性的度量【8】。此外，集合的Hill数可以清楚地解释为类型的“有效数”，这意味着集合的Hill数可以解释为具有最大平衡（即，在任何类型上的均匀分布）且与S具有相同多样性的虚拟集合中存在的类型数。特别是对于统一分布，即pi=对于所有i，我们有D（S）=n，因此多样性等于类型的数量。对于类型上的任何其他分布，Hillnumber表示最大平衡集合中的等效类型数。阿尔法和贝塔多样性以及组成单位的数量希尔数D（S）量化了类型的多样性和平衡性，但没有量化它们的差异，因此隐含地假设所有类型i最大程度上是不同的。在这里，我们的目标是扩展这个框架，以包括类型之间的特性重叠。为此，我们以生态学中阿尔法、β和γ多样性的概念为基础。Hill数将多样性分解为α和β分量[9]，生态学中使用这两个分量分别描述样本内多样性和样本间多样性的平均值[26]。例如，考虑一个森林，其中物种的分布在不同的地块上进行采样。由所有聚集在一起的地块组成的物种集合的多样性被称为总多样性或γ多样性。α多样性表示每个地块内的平均多样性。