探索还是利用？一个一般模型和一个精确可解的例子

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Explore or exploit? A generic model and an exactly solvable case》
---
作者：
Thomas Gueudr\\\'e and Alexander Dobrinevski and Jean-Philippe Bouchaud
---
最新提交年份：
2013
---
英文摘要：
  Finding a good compromise between the exploitation of known resources and the exploration of unknown, but potentially more profitable choices, is a general problem, which arises in many different scientific disciplines. We propose a stylized model for these exploration-exploitation situations, including population or economic growth, portfolio optimisation, evolutionary dynamics, or the problem of optimal pinning of vortices or dislocations in disordered materials. We find the exact growth rate of this model for tree-like geometries and prove the existence of an optimal migration rate in this case. Numerical simulations in the one-dimensional case confirm the generic existence of an optimum.
---
中文摘要：
在开发已知资源和探索未知但可能更有利可图的选择之间找到一个很好的折衷方案，是一个普遍的问题，它出现在许多不同的科学学科中。我们为这些勘探开发情况提出了一个程式化模型，包括人口或经济增长、投资组合优化、演化动力学，或无序材料中漩涡或位错的最优钉扎问题。我们找到了该模型对于树状几何体的精确增长率，并证明了在这种情况下最优迁移率的存在性。一维情况下的数值模拟证实了最优解的普遍存在性。
---
分类信息：

一级分类：Physics        物理学
二级分类：Disordered Systems and Neural Networks        无序系统与神经网络
分类描述：Glasses and spin glasses; properties of random, aperiodic and quasiperiodic systems; transport in disordered media; localization; phenomena mediated by defects and disorder; neural networks
眼镜和旋转眼镜；随机、非周期和准周期系统的性质；无序介质中的传输；本地化；由缺陷和无序介导的现象；神经网络
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Physics        物理学
二级分类：Physics and Society        物理学与社会
分类描述：Structure, dynamics and collective behavior of societies and groups (human or otherwise). Quantitative analysis of social networks and other complex networks. Physics and engineering of infrastructure and systems of broad societal impact (e.g., energy grids, transportation networks).
社会和团体（人类或其他）的结构、动态和集体行为。社会网络和其他复杂网络的定量分析。具有广泛社会影响的基础设施和系统（如能源网、运输网络）的物理和工程。
--
一级分类：Quantitative Finance        数量金融学
二级分类：General Finance        一般财务
分类描述：Development of general quantitative methodologies with applications in finance
通用定量方法的发展及其在金融中的应用
--

---
PDF下载：
--> Explore_or_exploit?_A_generic_model_and_an_exactly_solvable_case.pdf (3.3 MB)

2022-5-5 03:18:59 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Quantitative Applications exploitation localization Evolutionary

探索还是利用？一个通用模型和一个完全可解的案例托马斯·古德、亚历山大·多布林耶夫斯基、让-菲利普·布乔德克恩斯物理实验室，法国巴黎大学路21号，法国巴黎，75007号，罗蒙德街24号，法国资本基金管理公司，巴黎，Cedex 05，75231号。（日期：2013年12月11日——勘探开发˙prl˙修订˙最终版）在已知资源的开发和未知但可能更有利的选择的勘探之间找到一个良好的折衷方案是一个普遍的问题，这在许多不同的科学学科中都会出现。我们为这些勘探开发情况提出了一个程式化模型，包括人口或经济增长、投资组合优化、进化动力学，或无序材料中漩涡或位错的最优钉扎问题。我们发现了该模型对于树状几何体的精确增长率，并证明了在这种情况下存在最优迁移率。一维情况下的数值模拟证实了最优解的普遍存在性。PACS编号：68.35。Rh勘探开发贸易问题遍及大量不同领域（见[1]和其中的许多参考文献）。两个早期的例子与企业管理有关[2]（一个应该利用已知的技术，还是探索其他可能更有利但风险更大的途径？）还有所谓的多臂盗匪问题[3]（坚持使用迄今为止似乎最具优势的手臂，还是转而寻找可能更具优势的手臂？）。很明显，这是一个从人口增长、动物觅食到经济增长、投资策略或最佳研究政策的全世界范式。正如我们将在下面展示的那样，同样的问题也会以稍微伪装的形式出现，在杂质钉住旋涡或位错的情况下，并且与材料设计有关。

直觉上，无论是呆在同一个地方（错过有趣的机会），还是换地方太快（未能利用有利的环境），都不是最佳策略。因此，通常应该存在一个最佳的非零搜索率。然而，没有确切可解的案例可以详细调查勘探开发贸易。本文的目的是为这些勘探开发情况提出一个通用的、程式化的模型，包括上面给出的所有示例。我们在两种情况下（完全连通和树几何）得到了该模型的精确解，并明确地证明了非平凡最优搜索率的存在性。欧几里德几何也被考虑，因为它们对应于物理情况，比如上面提到的钉扎问题。在这种情况下，微扰理论和数值模拟也证实了最优解的存在。我们的模型描述了一个我们通常称之为Zi的量的动力学，该量定义在任意图的节点i上，它根据以下等式[4]演化：子（t）t=Xj6=ijzj（t）-Xj6=iJjiZi（t）+ηi（t）Zi（t）。（1） 前两个术语用j到i的迁移率来表示“迁移”效应。最后一个术语用随机增长率ηi（t）来描述数量的增长（或衰减）。我们将选择ηito为高斯型，居中且不相关，并使用指数时间相关器：hηi（t）ηj（t）i=δijσ2τe-|T-t |τ。（2） 然而，我们的定性结论与精确形式（2）无关，前提是相关性在有限尺度τ上衰减，这将在下文中发挥重要作用。等式（1）描述了许多不同的问题。种群动态（细菌、人类、动物）就是一个例子，其中包括现场（或栖息地）i周围的个体数量。

在这种情况下，ηi（t）编码对人口增长的有利和不利影响[5]（即资源/营养物质的质量和数量、气候、疾病等）之间的局部平衡。在进化动力学的背景下，可能会给出一种稍微不同的解释，即位点i对应于不同的等位基因和Jijare突变率。在钉扎问题的背景下，Zi对应于长度为t（聚合物、漩涡、位错）的线性物体的分区函数，其终点位于位置i，可以在位置之间跳跃，并与局部随机钉扎势ηi（t）相互作用[6]。在经济学环境中，等式（1）可以解释为描述个人财富的动态，这些财富交换和投资于风险项目，或者经济i中某个部门的总活动，这些活动可能从一个部门转移到另一个部门，并根据创新、原材料价格等增长或衰退。另一个有趣的应用是投资组合理论，其中Zi是投资于资产i的金额[7]。ηi（t）是该资产的收益流，JIJ描述了部分资产收益向投资组合其他部分的分配。如果没有这种再平衡，投资组合最终只会集中在一项（或少数）资产上（见[8]，第37-38页），因此风险极高。如果Jij≡ J和节点i位于d维的规则晶格上，等式（1）是“随机热方程”的离散化版本，Z（~x，t）t=JZ（~x，t）+η（~x，t）Z（~x，t）。

（3） 在Cole-Hopf变换Z=eh后，该方程映射为著名的KPZ方程th=Jh+J(h） +η出现在许多领域：宇宙学和湍流[9,10]、表面生长[11,12]、定向聚合物[6]或汉密尔顿-雅可比-贝尔曼优化问题[13]。对于一维（d=1）情况，最近获得了大量精确结果，尤其是关于H-场函数的标度特性（有关综述，请参见[14]）。然而，在这里，我们将不关注这些波动，而是关注h场的长时间平均“速度”c，在离散情况下定义为：c:=limt→∞NtNXi=1ln Zi（t），（4），其中N是站点总数。这个速度在上面提到的所有例子中都有一个明确的解释：它代表人口的平均渐进增长率，或增长模型中经济财富的平均渐进增长率，聚合物的自由能，旋涡，等等，在钉扎的情况下。因此，我们很自然地会将这个数量的最大值作为模型参数的函数，因为这些参数将对应于最佳情况——无论是在人口、经济或投资组合增长方面，还是在与材料设计相关的钉扎效率方面，例如具有高临界电流的超导体[15]。在这种情况下，所谓的“柱状无序”[16]（对应于当前语言中的时间相关随机噪声η）已知对钉扎涡非常有效[17,18]。我们的主要结果是，对于随机噪声/势ηi（t）的非零相关时间，存在一个非最佳迁移率J，使得c达到最大值。这个最佳速率实现了“勘探-开发”折衷：移动太慢（J小）不允许系统有效地探测环境，并且错过了一些有利的机会。

另一方面，行动过快（J大）不允许系统从持续一段时间的有利点中充分受益~ τ，因为它过早地离开这些斑点。首先，让我们对具有时间相关无序的1+1定向聚合物问题进行数值模拟。我们模拟的方程是：Zi（t+dt）=（1）- 2Jdt）Zi（t）+Jdt[Zi+1（t）+Zi-1（t）]+ηi（t）dtZi（t），（5）在0.1J0。050.100.20cHJLFIG。1.比较（5）（蓝色三角形）和（6）（红色正方形）对N=512和τ=0.1的模拟，作为分支（扩散）率J的函数。我们计算σ=1。灰黑线是由微扰理论c（J）得到的大J渐近线≈ σ/4√Jτ。虚线显示了J-1通过树近似（a=1/2，m=1）预测的大J的c（J）行为。当i=1时，N和ηi（t）是指数相关的高斯噪声，如式（2）所示。我们考虑了一个具有N=512个站点和周期性边界条件的系统。我们在t=40足够长的时间后确定c（J），以达到稳定状态，并且远大于此处确定的相关时间τ=0.1。图1显示了σ=1和τ=0.1时c对J的依赖关系，以及a）KPZ方程的直接微扰理论的结果，这是一个对大J先验有效的结果，b）a=1/2和m=1的“树近似”预测，我们将在下面详述。前预测SC（J）≈ σ/4√J的Jτ+O（σ/J）→ ∞, 在没有任何可调参数的情况下，它确实很好地拟合了大J区域的数据。另一方面，树近似在数量上是不正确的，正如一维系统所预期的那样。

例如，它预测aJ-1 c的衰减（见下文），但仍能大致捕捉到c（J）的整体行为，尤其是最大值的存在。现在让我们转向一个简化的模型，在这个模型中，勘探和开采之间的相互作用，以及最佳迁移率，可以通过分析得到充分的理解。我们首先注意到，对于相邻位置的规则晶格，我们的一般模型等式（1）可以稍微改变为以下演化规则：Zi（t+dt）=（Zi（t+dt）exp[ηi（t）dt]prob。1.- Jdt，（1- a） Zi（t）+amPj∧iZj（t）问题。Jdt。（6） 其中m是i和j的邻域数∧我是说我，j是邻居。为了获得一个可解的模型，我们忽略了Zi之间的所有空间相关性，这与德里达和斯波恩在1988年针对定向聚合物问题引入的树形近似[19]一致。根据这些作者，我们定义了生成函数sgt（x，η）：=经验-E-xZi（t）δ[ηi（t）- η],bGt（x）：=Z∞-∞dηGt（x，η）=经验-E-xZi（t）（7） 假设Zi是独立的，我们可以写出Gt（x，η）的下列演化方程：Gt+dt（x，η）=（1- J dt）己糖-E-x+ηi（t）dtZi（t）iδ[ηi（t+dt）- η] i+jdt经验-E-x+qZi（t）δ[ηi（t）- η]×经验-E-x+qZj（t）m（8），其中q:=log（1- a） q:=logam。inEq的选择。（2） 对η的Ornstein-Uhlenbeck过程的描述特别简单，因为它产生了ηi（t+dt）的马尔可夫方程：ηi（t+dt）=ηi（t）+-τcηi（t）+στcξi（t）其中ξ是高斯白噪声。

将其插入（8），并扩展到O（dt），我们得到gt+dt（x，η）=燃气轮机x、 η+στcξi（t）dtξ- J dtGt（x，η）- ηdtxGt（x，η）+dtτη[ηGt（x，η）]+J dt Gt（x- q、 η）bGt（x- q） m+O（dt）使用ξi（t）dt~ N（0，dt），我们现在对ξ进行平均，并获得G的广义Fisher-KPP方程，其中扩散算子被OrnsteinUhlenbeck算子替换，涉及附加状态变量η：tGt（x，η）=σ2τcηG+τcη（ηG）-ηxG+JhGt（x- q、 η）bGt（x- q） m- Gt（x，η）i.（10）与标准平均场定向聚合物问题[19,20]中已知的Fisher-KPP方程一样，它给出了沿x方向传播的前沿。这条战线的速度正是我们正在寻找的数量c，并由GTX的尾部行为确定→ ∞. 在这个尾部，我们对G做了如下的ansatz:Gt（x，η）=Q（η）- R（η）e-γ（x-ct）+。。。（11） 其中rdηQ（η）=1。通过识别订单1和订单e的条款，将其插入到（10）中-γ（x）-Q（η）是theOrnstein-Uhlenbeck过程η（t）的平稳高斯分布，而（η）满足：Rcγ=σ2τηR+τη（ηR）+ηR+JmeγqQZdηR（η）+R（η）J（eγq- 1). （12） 这可以通过施加（不丧失普遍性）RdηR（η）=1并设置R=φe来简化-ητ/2σ，σ^c=γc- J（eγq）- 1) - σγ/2和y=η/σ- γ.对于φ，我们得到以下等式：-2στφ+yφ+（^c）-2στ）φ=Jmeγqσe-（y+1）στpπσ/τ。（13） 引入谐振子本征函数φn（y）=e-yστ/2Hn（yσ√τ） ，上述方程的解可以写成φ（y）=P∞n=0Anφn（y），其中系数ana由以下公式给出：Anhnστ+^ci=Jmeγqσe-γστ/4(-1） nn！σ√τnpπσ/τ。

（14） 最后，条件rdηR（η）=1产生了c的隐式方程，对任意τ[21]：1=Jmeγq有效-γστ/2∞Xn=0（γστ/2）nn！nτ+γc- J（eγq）- 1) -σγ（15） 与德里达·斯波恩的情况一样，发现相应的函数c（γ）在某个γmin内达到最小值，这取决于参数J、σ、τ、m。现在对这种现象的解释是标准的：只有带γ的行波≤ γ可以维持，并以c（γ）的速度传播。“过于尖锐”的波前，即最初用γ>γmin制备的波前将变宽，直到达到γ=γmin，并将以速度c（γmin）传播。在我们的例子中，初始条件Z=1对应于γ=1；因此，要么发现γmini大于1，在这种情况下，c由等式（15）的解给出，γ=1，要么发现γmin≤ 1，其中c=c（γmin）。对于定向聚合物/钉扎问题，第一种情况对应于高温退火阶段（产生于J≥ 而第二种情况对应于低温冷冻阶段（forJ）≤ Jc）。在随机增长问题中，后一种情况对应于将人口/财富/投资组合定位在少数特别有利的栖息地/个人/资产上（见[4]中的讨论）。我们从（15）中数值确定c（γ）、γmin和c（γmin），与数值模拟结果非常吻合（见图2）。特别是我们看到，对于τ=0，增加迁移率，增加迁移率，特别是对于τ=0，增加迁移率，增加迁移率，增长率，增长率，增长率，增长率，增长率，增长率，增长率，增长率，增长率，增长率，增长率，增长率，增长率，特别是我们看到，特别是我们看到，特别是我们看到，特别是我们看到，特别是，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加的迁移率，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，增加，在在在ìììììììììììòòòòòòòòòòò。100.200.300.15cHJLFIG。2.（在线彩色）比较不同N和τ的（6）模拟，作为分支（扩散）率J的函数。绿色钻石、橙色方块和蓝色圆圈是从（6）的数值模拟中得出的，其中τ=0、0.1和1的N=2。

蓝色三角形对应于τ=1和n=2。在所有情况下，σ=1，a=1/2，m=1。通过对τ的相应值进行（15）的数值解，得到了固体曲线。灰色虚线是大J和小J渐近线。在恒定值c=σ/2时饱和的速率，对于所有J≥ Jc。因此，在这种情况下，勘探和开发之间不存在最佳权衡——勘探总是有利的或中性的。然而，当引入有限相关时间τ时，我们发现，正如预期的那样，确实出现了最佳迁移率（参见图2）。[22]特别是，我们通过分析发现，对于小J，c（J）=√2σJ+O（J），而对于大J，c（J）=σ/2aJτ+O（J）-2.事实上，大J行为可以通过以下方式进行启发式理解。显然，τ>0的问题在很大程度上必须等同于标准的不相关情况（τ=0），但具有非标准化的无序振幅。对于大J和有限τ，无序不能改变时间τ之前勘探的随机游动性质。因此，在这段时间内，行走自由地访问N6==O（Jτ）不同的位点，导致随机紊乱的预平均，从而将方差σ降低一个因子N6=。因为对于τ=0，c∝ σ、 上述重整化立即导致toc（J）~ σ/Jτ大于J[注意，同样的参数导致c（J）~ σ/√Jτ在d=1中，如上所述，在d=2中也是精确的，其中出现了对数修正。]现在，由于c（J=0）=0微不足道，c（J）对大J和有限τ的衰减行为立即表明勘探速率中普遍存在一个最优值，如上所述。对于另一个完全可解的极限，我们发现了非常相似的结论[23]，即完全连通图，其中jij=J/N，i、 j，这实际上对应于极限a=1（直到次要细节）-Nand m=上述树模型的N。