从大数据到重要信息

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《From Big Data To Important Information》
---
作者：
Yaneer Bar-Yam
---
最新提交年份：
2016
---
英文摘要：
  Advances in science are being sought in newly available opportunities to collect massive quantities of data about complex systems. While key advances are being made in detailed mapping of systems, how to relate this data to solving many of the challenges facing humanity is unclear. The questions we often wish to address require identifying the impact of interventions on the system and that impact is not apparent in the detailed data that is available. Here we review key concepts and motivate a general framework for building larger scale views of complex systems and for characterizing the importance of information in physical, biological and social systems. We provide examples of its application to evolutionary biology with relevance to ecology, biodiversity, pandemics, and human lifespan, and in the context of social systems with relevance to ethnic violence, global food prices, and stock market panic. Framing scientific inquiry as an effort to determine what is important and unimportant is a means for advancing our understanding and addressing many practical concerns, such as economic development or treating disease.
---
中文摘要：
科学的进步正在寻找新的机会来收集有关复杂系统的大量数据。虽然在详细绘制系统地图方面取得了重大进展，但如何将这些数据与解决人类面临的许多挑战联系起来尚不清楚。我们经常希望解决的问题需要确定干预措施对系统的影响，而这种影响在现有的详细数据中并不明显。在这里，我们回顾了关键概念，并提出了一个总体框架，用于构建复杂系统的更大规模视图，以及描述信息在物理、生物和社会系统中的重要性。我们提供了将其应用于进化生物学的例子，涉及生态学、生物多样性、流行病和人类寿命，以及与种族暴力、全球食品价格和股市恐慌相关的社会系统。将科学研究界定为确定什么是重要的，什么是不重要的，是促进我们理解和解决许多实际问题的一种手段，如经济发展或治疗疾病。
---
分类信息：

一级分类：Physics        物理学
二级分类：Physics and Society        物理学与社会
分类描述：Structure, dynamics and collective behavior of societies and groups (human or otherwise). Quantitative analysis of social networks and other complex networks. Physics and engineering of infrastructure and systems of broad societal impact (e.g., energy grids, transportation networks).
社会和团体（人类或其他）的结构、动态和集体行为。社会网络和其他复杂网络的定量分析。具有广泛社会影响的基础设施和系统（如能源网、运输网络）的物理和工程。
--
一级分类：Physics        物理学
二级分类：Adaptation and Self-Organizing Systems        自适应和自组织系统
分类描述：Adaptation, self-organizing systems, statistical physics, fluctuating systems, stochastic processes, interacting particle systems, machine learning
自适应，自组织系统，统计物理，波动系统，随机过程，相互作用粒子系统，机器学习
--
一级分类：Quantitative Biology        数量生物学
二级分类：Populations and Evolution        种群与进化
分类描述：Population dynamics, spatio-temporal and epidemiological models, dynamic speciation, co-evolution, biodiversity, foodwebs, aging; molecular evolution and phylogeny; directed evolution; origin of life
种群动力学；时空和流行病学模型；动态物种形成；协同进化；生物多样性；食物网；老龄化；分子进化和系统发育；定向进化；生命起源
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> From_Big_Data_To_Important_Information.pdf (1.06 MB)

2022-5-11 04:30:19 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：大数据 Quantitative Biodiversity Evolutionary intervention

从大数据到重要信息美国马萨诸塞州坎布里奇101号套房百老汇210新英格兰复杂系统研究所（日期：2016年4月1日）在收集大量复杂系统数据的新机会中寻求科学进步。虽然在详细绘制系统地图方面取得了重大进展，但如何将这些数据与解决人类面临的许多挑战联系起来尚不清楚。我们经常希望解决的问题需要确定干预措施对系统的影响，而这种影响在现有的详细数据中并不明显。在这里，我们回顾了构建复杂系统的大尺度视图以及描述信息在物理、生物和社会系统中的重要性的关键概念和激励因素。我们提供了将其应用于进化生物学的例子，涉及生态学、生物多样性、流行病和人类寿命，以及与种族暴力、全球粮食价格和股市恐慌相关的社会系统。将科学调查作为确定什么是重要的和不重要的一种手段，有助于增进我们的理解，解决许多实际问题，如经济发展或治疗疾病。I.综述将疾病转变为健康和经济不稳定转变为增长是我们今天面临的复杂挑战之一。我们如何才能将越来越多的海量数据用于解决这些紧迫的问题？这些数据提供了丰富的细节，但通常没有关于哪些信息对确定成功干预很重要的指导标签。我们需要解决的问题是关于复杂系统的性质——人类生理学、全球经济。

解决有关科技系统的问题需要理清行为的复杂依赖关系和多种原因及影响，并认识到行为的范围从微观到宏观。在这里，我们认为解决这些问题的关键是关注不同规模的行为之间的关联方式，以及系统内的依赖性如何导致大规模的行为模式，这些行为模式可以直接表征，而无需映射所有复杂的细节。该方法建立在对如何聚合成分行为以识别大尺度行为的理解之上，该方法是在物理学相变的“重整化群”研究中发展起来的，并在这里推广到多尺度信息理论。在这个框架中，信息本身是有规模的，更大规模的信息是目前最重要的信息，逐步扩大规模的信息只在必要时提供细节。该分析侧重于描述如何影响系统最大规模行为的信息。这种方法是一种捷径，可以将生物和社会系统从分子到全球范围的所有原因和影响进行映射。需要研究的具体情况和影响，与构成系统行为或所有尺度的许多因素相比，仅为少数。因此，与将传统方法扩展到期望的结果相比，这是一个极大的简化。另一方面，由此产生的形式主义是在特定情况下执行的挑战。如果应用得当，其结果是关于如何干预和解决重大问题的明确指导，这一结果证明了所涉及的高水平定向效应的合理性。

成功的例子表明，将其应用于各种各样的科学问题和现实世界问题是可能的，但如何进行更普遍的研究还有很多方面有待开发。如果利益的影响在不同的尺度上发生变化，则必须采用其他方法。在描述该方法的一般形式主义中，可以理解该方法的可能性和局限性。该方法是对许多其他有效应用于复杂系统的策略的补充，这些策略不仅包括大数据，还包括网络模型、基于代理的模型、博弈论、系统动力学、机器学习、随机建模、耦合微分方程，以及其他以特定表征框架为起点的框架。它在精神上更接近于分形和混沌对尺度作用的关注，但与其他方法一样，它没有采用它们特有的表征策略。在这里描述的方法中，策略是用最小但忠实的表征来描述最大规模的行为，并且可以适当地使用每种不同的表征策略，或它们的组合。本文回顾并扩展了系统定量分析的基本方法。虽然许多概念是在物理学中发展起来的，但这里提供的概括可以更好地应用于复杂的生物和社会系统。这篇论文的写作目的是让广大读者能够理解，同时也提供了对物理学家和数学家非常重要的基本观点，这些物理学家和数学家有兴趣扩展对复杂系统的定量理解。尽管有助于使其易于访问，但它并不是复杂系统科学概念和方法的一般教程，其他资源可供参考[1,2]。

这里有必要回顾某些基本概念，因为它们通常不会以有利于泛化的方式出现。还包括生物和社会系统的应用实例。虽然它们并没有充分体现基本方法的力量，但每一种方法都说明了其应用于具有现实世界重要性的高度复杂系统的各个方面，如果没有提到基本的、一般的方法，就不清楚它们是如何被研究的。这篇论文不是一篇“如何做”，而是一个概念框架和动机，因此还有很多空间供其他论文为未来的工作提供实践指导。在第二节中，我们回顾了基于微积分和统计学的传统科学方法的本质，这些方法依赖于行为尺度的分离。我们指出了为什么它们对产生多尺度行为模式的复杂系统的依赖性不起作用。在第三节中，我们描述了一种关于微积分和统计学分解的基本观点是如何从材料相变的研究中产生的，这种相变导致了使用多尺度方法的重整化群概念的发展。在第四节中，我们通过引入复杂性特性、复杂系统的多尺度表征，以及在特定观测尺度下可靠的描述概念，将这种方法推广到复杂系统。第五节讨论了在重整化群中形式化的普适性概念，它在更一般的复杂系统环境中作为一种认识大规模描述系统行为的重要性的方法。第六节简要介绍了由于放大、耗散和混沌的动力学而产生的复杂性，这些复杂性随着时间的推移不会保持规模。

第七节简要讨论了几个例子，包括人口生物学、种族暴力、食品价格动态、市场崩溃、组织结构和其他方面。最后，在第八节中，我们指出，如果不关注普遍性，就不可能对系统有有效的理解，因为每个个体的观察都是不同的微观状态。因此，以注重大规模行为的规模敏感方法进行科学调查至关重要。没有对规模的关注，任何方法都注定会被视为重要的大规模属性，并将大部分注意力集中在不相关的细节上。二、尺度分离关于复杂系统的核心见解之一是，传统的数学和概念方法无法充分体现组件之间依赖关系的影响。其局限性的关键在于，它们只适用于微观和宏观尺度之间行为分离的系统。导致跨尺度行为的部分之间的相互作用违反了这种分离。考虑一个从斜面上滑下的块体。在avFIG。1：块体（速度为特定力矩v）沿斜面下滑的示意图。受重力和摩擦影响的宏观运动可以用牛顿运动定律来处理，而原子的微观行为可以用热力学来处理，方法是考虑原子群的局部振荡是随机和独立的（一个原子群处于特定状态的概率与另一个原子群的状态无关）；对这种运动进行统计处理，可以确定砌块和斜面的压力和温度。传统的方法，微观和宏观尺度是分开处理的。

为了解决微观尺度的动力学问题，我们对分子进行了平均，并用热力学描述了它们的温度和压力。为了解决宏观尺度的动力学问题，即块体在斜面上的运动，我们使用牛顿物理学来讨论它们的大尺度运动（见图1）。在这种情况下，这些碎片可以被认为是独立的，比如微观尺度上的随机相对运动，或者是连贯的，比如宏观尺度上的平均运动。由于尺度是完全不同的，由数量级分开，我们在单独描述它们时不会遇到问题。最后，通常认为块体和平面的结构是固定的。因此，传统上，一个系统有三个方面：小规模、动态和固定。桌子上放着冰块的一杯水可以通过考虑冰块的运动和融化、分子振动的平均值以及玻璃的固定结构来处理。在更长的时间尺度下，水会蒸发，玻璃会流动，桌子可能会腐烂，但这在特定的观察尺度（或一系列尺度）上并不重要。以从太空看地球为例。地球极其复杂。尽管如此，我们仍可以将其描述为一颗以可预测的方式围绕太阳运行的行星。地球上发生的事情的大部分细节在其轨道的尺度上都不起作用。对于地球来说，在轨道尺度上，所有内部结构可以平均到一个点。假设太阳系的天体不变，每个天体的物质都与其他太阳天体分离。然后可以对动力学行为进行建模和预测。当天平分离起作用时，我们不仅可以描述孤立存在的系统，还可以描述它对外力的反应。

以轨道运动的尺度作用在地球上的力与以该尺度发生的动力学行为耦合。因此，如果我们考虑一个新的天体进入太阳系，除非它破坏了太阳系的结构（即通过遮蔽一颗行星），并且只要我们继续对轨道运动的规模感兴趣，我们就可以使用这些相同的自由度来描述系统的行为。对于复杂系统来说，我们最想回答的问题仍然与更大规模的信息有关。重要的是，描述的规模和互动的规模是相似的。当我们对更大规模的行为进行描述时，我们也在考虑环境对系统的更大规模影响。但许多系统，尤其是我们感兴趣的理解和影响系统，并没有用单独的微观和宏观尺度很好地描述。以一群鸟为例。如果所有的鸟类都以不同的方向独立飞行，我们需要分别描述每一种。如果它们都朝着同一个方向运动，我们可以简单地描述它们的平均运动。然而，如果我们对鸟类的运动感兴趣，描述每只鸟的运动将是太多的信息，而描述平均值将是太少的信息。理解既不独立也不连贯的复杂行为最好是跨尺度描述。这需要知道哪些信息可以在感兴趣的范围内被观察到。这个例子的广义框架可以应用于广泛的复杂系统。三、 理论与实验矛盾与多尺度洞见从传统物理学与20世纪70年代开始发展的基于重整化群方法的统计物理学方法之间的差异可以理解关键思想。

在这个框架中建模可以区分在最大范围内可以观察到什么。为了解释这种形式主义的概念，我们描述了它在材料研究中的发展[3-9]。然后，我们描述了一个对复杂的生物和社会系统的概括。物质研究的核心是我们看不到单个原子的运动。相反，我们用压力、温度和体积来描述我们看到了什么，以及我们如何用力来操纵物质。例如，压缩气体的活塞会减小体积并增加压力，而向非物质的热传递会导致其温度升高。我们进行此类描述的关键概念是尺度：原子的细尺度（微观）行为对观察者或对系统的操纵并不重要；我们观察和操纵的大尺度（宏观）性质反映了原子运动的平均或聚集性质。这种方法在19世纪通过统计物理学正式确立。它似乎通过最小化相对于宏观变量的自由能来解决确定平衡状态下材料性质的问题。这几乎总是有效的。然而，在相变的研究中，例如水和蒸汽之间，或铁磁体和顺磁性之间，这种方法无法正确给出被称为二级相变点的特殊条件的性质。这一现象被证明是一个复杂系统的相对简单的例子，在这个系统中，元素既不完全独立，也不完全一致，尺度的分离也会被打破。考虑水和蒸汽之间的过渡。在特定的压力下，我们可以通过提高温度使水和蒸汽发生转变。在转变温度下，密度突然不连续地变化。

当我们升高压力时，我们压缩蒸汽，在转变温度下密度的变化减小（见图2）。在某一点上，转变停止，水和蒸汽之间不再有区别。该终点称为二阶过渡点，位于一阶过渡线的末端。在这一点附近，液相和气相之间密度的不连续性变为零（因此称为二阶跃迁）。这样做的方式是幂律ρ的形式∝ xβ，其中xis是从二阶过渡点沿过渡线的距离。还有许多其他材料的相变线以点为终点，称为二阶相变或临界点。幂律在临界点附近无处不在。经验发现的指数是β≈ 0.33. 在许多情况下，包括在磁铁和液体的临界点[10–12]都可以找到相同的指数值。然而，基于自由能最小化的理论预测为0.5[13]。推导从临界点附近密度的自由能的解析展开开始，然后将其导数设为零以获得最小值（朗道理论）。观察结果和理论之间惊人的差异迫使我们的理解发生了巨大的变化。我们常用的微积分和统计学方法在这一点上失败了，因为它们的假设不再成立。微积分假设物质是平滑的，统计学假设大量物体的平均值是明确的。远离临界点，这些假设是正确的，因为原子的微观行为与材料的宏观行为作为一个整体很好地分离。