自相关分量的噪声独立分量分析

所以，我们最终得到的不是最优解的整个子流形，而是2cc！KL散度相对于M和M的最小值。如果S中各个分量的先验协方差不相同，则互换对称性被破坏，所有这些最小值不再具有相同的散度。因此，使用梯度下降法，我们不一定会得到全局最小值。这可以通过离散优化步骤来解决，尝试混合物和组分的所有可能排列，并选择KL发散度最小的一个。如果一个人也推断出优先相关结构，那么这个问题也会消失，因为优先相关结构会适应所选的排列，从而导致全局最小值。我们已经看到，在所有分量的先验相关结构相同的情况下，散度的所有极小值都是全局极小值，因此无论起始位置如何，我们都会收敛到最优解。然而，收敛速度很难估计，因为我们依赖于参数连续最小化的迭代。当我们用共轭梯度法求逆时，每个极小化收敛得相当快，这取决于所涉及矩阵的条件数。总的收敛速度应取决于KL散度中分量均值m和混合物m之间的相关性。它们之间的相关性越小，单个参数应达到最小值。然而，强相关性不允许出现大的步骤，因此速度较慢。实际上，计算效率高度依赖于各种量的选择。对于平均100101谐波模式10，该算法分为两个不同的最小化-310-210-1相关组件功率谱图2。

双对数表示下inFourier空间中两个分量的相关结构。不同维度的组分m和混合物m，这是计算成本的主要来源。至少在一维情况下，零部件的维数与零部件数量及其分辨率成线性比例。对于高维组件，分辨率会相应缩放。这种最小化的代价是隐式算子的数值反演，以解决维纳滤波问题。关于混合的最小化是相当便宜的，具有组件数量乘以数据通道数量的维度。然而，绘制一个后验样本需要具有第一部分复杂性的维纳滤波器。因此，我们希望保持尽可能少的样本数量，至少在推断的开始阶段。我们可以在最后增加样本数量，减少统计抽样。整个算法由大量连续最小化组成。每项测试的准确性都会极大地影响整体性能。我们希望尽可能避免不必要的精度，因为所有参数都在不断变化，对于混合物，KL散度只是一个本身具有不确定性的统计估计。因此，如果我们最初的目标是高精度，我们将浪费计算。最后，随着样本数量的增加，也可能会提高准确性。如何以最佳方式引导这一点相当困难，目前需要逐案优化。八、数字示例我们使用软件包NIFTy（数字信息场理论）[23]在Python中实现了上述算法，允许协调的Free实现。对于我们的两个数值示例，我们将使用根据模型生成的合成数据。

第一个案例将描述一个相当简单的案例，具有中等但当前的噪音。-2.50.0数据-2.50.0-2.50.0-2.50.00.0 0.2 0.4 0.6 0.8 1.0-2.50.0位置值图3。五个通道中第一种情况的数据来自两个线性混合分量的噪声测量。-10123部件0.0 0.2 0.4 0.6 0.8 1.0-10123更正结果预设值图4。在图1所示的场景一中，校正、重构和最大后验分量，并进行误差估计。-0.50.00.5混合物0 1 2 3 4-0.50.00.5校正结果数据通道系数图5。场景一中的纠正、重建和最大后验结构。-505数据-505-505-5050.0 0.2 0.4 0.6 0.8 1.0-505位置值图6。场景2中传感器故障和可变噪声水平的测量。注意更改的刻度。-10123部件0.0 0.2 0.4 0.6 0.8 1.0-10123校正结果位置值图7。使用图5所示场景二的噪声数据集重构独立组件。误差估计。-0.50.00.5混合物0 1 2 3 4-0.50.00.5校正结果数据通道系数图8。从场景2中的噪声数据集重建混合。在第二个示例中，我们将用更真实的度量挑战该算法。我们将通过屏蔽数据集的区域，对随机失效的测量传感器进行建模。此外，每个传感器将表现出强度显著增加的单个噪声协方差。为了进行比较，我们将使用之前测量的相同组件实现和混合。在我们的示例中，我们测量了两种独立成分的五种不同混合。每个通道由1024个数据点组成，探测周期组件所在的单位间隔的等距位置。在第一个示例中，测量值被显著的零均值噪声和σn=0.1的对角协方差所破坏。

在这种情况下，responseoperator R就是恒等式运算符Rxy=δ（x- y） 。数据如图3所示。这两个组件都是通过从功率谱pc（k）=4k+1的先验分布P（s）中提取实现来生成的。（65）这通过傅里叶空间中的fallingpower定律描述了空间相关性，这是许多物理过程的典型特征。此功能如图2所示。通过为两个分量选择相同的功率谱，我们可以忽略概率分布的多模态问题，因为所有的极小值都是相等的全局极小值。混合项的值独立于高斯分布，均值和单位方差为零。之后，对应于一个组分的条目被归一化为fix混合物和组分之间的乘性简并度。样本数s*用于估计混合物最初是每次迭代一次，在重建结束时增加到25次。我们对该算法进行了300次迭代，之后重建收敛。分析结果如图4和图5所示。在保持乘积Mm不变的情况下，对重构后的符号进行退化校正，并与真实的对应组分和混合物进行比较。我们可以清晰、准确地恢复不同成分的形态结构。一西格玛不确定度等值线估计为√DXX合理地量化估计误差。混合物的结构得到恢复，仅存在与真实混合物的微小偏差。我们甚至可以恢复组件的相对较小的结构，因为该算法同时使用所有通道的组合信息，提高了有效的信噪比，从而获得更高的分辨率。

首先对每个单独通道进行去噪，然后应用无噪声ICA方法无法达到该分辨率，因为它受到各个通道信噪比的限制。我们还展示了在这种情况下，相对于s和M的后验概率最大化的结果。这里我们使用的初始值是f（k）='dx f（x）e2πikx的数值傅里叶约定。组分未回收，建议的解决方案高度反相关。这证明了所提出模型产生的不确定性修正的必要性，由公式41和公式42中的平均值表示。在第二个示例中，我们使用与之前相同的设置，使用相同的两个组件和五个数据通道。我们只对测量仪器进行了修改，使其与真实传感器的典型特性相似。我们通过每个64个测量点的序列随机掩盖了总面积的22%。此外，我们为每个传感器分配一个单独的噪声协方差。在这种情况下，噪声水平将明显高于前一示例，范围从2倍到25倍的方差。数据如图6所示。肉眼很难识别任何成分，只能识别相关结构的线索。我们可以将仪器响应操作符R中的故障传感器编码为掩码，将变化的噪声编码为噪声操作符N，并运行与之前完全相同的算法。结果如图7和图8所示，再次使用校正的信号，并与真实的相应组件进行比较。尽管条件非常恶劣，但形态结构仍得以恢复。因此，总体不确定性比以前更高，因此小规模的问题没有得到很好的解决。由于任务，我们观察到不确定性结构中的调制。在某些部分，不确定性并不能完全覆盖与真实组件的偏差。

由于我们没有考虑混合物的不确定性结构，我们可能低估了误差。在混合物中，我们也观察到与正确混合物的偏差更大，但通常我们能很好地恢复。图1显示了所有三个示例的收敛行为。它显示了在每个迭代步骤t中，分量的当前估计mt与真实分量s的平均偏差，校正了简并度。我们根据t=r（mt- s） +（公吨- s） l，（66），其中l是由组件解析给出的站点数。我们预计该数量不会小于最终结果误差估计的预期偏差，因此设定了下限。它显示为高噪声和低噪声情况下的两条水平线。在推断过程中，两种情况下的平均偏差均下降至该限值，但未达到该限值。这表明结果的误差估计略微低估了误差，这一发现并不令人惊讶，因为我们没有考虑混合物的不确定性。噪声级越高，这种影响就越相关，而在低噪声情况下，这种影响几乎可以忽略不计。我们还可以观察到由于在噪声轨迹中采样而导致的最小化的统计性质。与之相比，最大后验极小化遵循一条光滑的线。在这个图中，我们还可以很好地看到使用最大后验值的差异。它开始接近真实分量，在相同的情况下，大致以与KL接近相同的速度，但随后变慢，开始累积误差并明显发散，而另一种方法继续收敛。九、 总结我们导出了一种新方法，该方法允许利用噪声测量值的自相关性将独立分量从噪声测量值中分离出来。

这是通过首先将测量过程描述为组件场的线性混合来完成的，这些组件场由一些线性测量仪器在加性高斯噪声下观察到。根据这个模型，我们得出了可能性。假设各分量的自相关均匀，我们可以将它们的相关结构表示为傅里叶基中的对角算子。根据这一假设，我们导出了高斯分布形式的分量上信息量最小的先验分布。没有对混合物条目做出任何先验假设，但这样可以很容易地添加。利用模型似然度和分量先验，我们应用贝叶斯定理推导了后验概率分布的表达式。由于该表达式在分析中不可访问，我们将其近似为成分的高斯分布和混合项的delta分布的乘积。为了推断近似值的参数，我们提出了一种将该分布的Kullback-Leibler散度最小化到真后验值的方案。它涉及成分和混合物的迭代维纳滤波。为了估计混合物，我们考虑了源于成分映射的高斯近似的不确定性校正。这些对于获得混合矩阵的精确估计至关重要。对油田和混合物的联合地图估计往往会提供不正确的结果。为了评估校正，我们概述了如何从近似高斯后验分布中提取独立样本的方法。在两个数值例子中，我们证明了导出算法的适用性。第一个案例涉及中等噪声，并以高精度恢复了真实成分和混合物。组件的估计误差是可靠的。

第二个示例对随机失效的传感器进行建模，并对相同的组件施加明显更高、不同的噪声级。混合物和组分的形态在这里也得到了恢复，由于混合物的涉及点估计，误差被稍微低估了。总体而言，该算法取得了令人满意的结果，也可应用于高噪声环境下的复杂测量情况。十、 致谢我们感谢马丁·杜邦、雷马尔·莱克、塞巴斯蒂安·赫申鲁特、娜塔莉亚·波克斯、丹尼尔·Pumpe和两位匿名推荐人对手稿进行的有益讨论和评论。[1] S.Makeig、A.J.Bell、T.-P.Jung、T.J.Sejnowski等人，《神经信息处理系统的进展》，145（1996）。[2] K.Kiviluoto和E.Oja，摘自ICONIP，第2卷（1998），第895-898页。[3] J.-F.Cardoso、J.Delabrouille和G.Patanchon，第四届独立分量分析和盲信号分离国际研讨会（ICA03）（2003年）。[4] M.Ghil、M.Allen、M.Dettinger、K.Ide、D.Kondrashov、M.Mann、A.W.Robertson、A.Saunders、Y.Tian、F.Varadi等人，《地球物理评论》40（2002）。[5] A.Hyv¨arinen和E.Oja，神经网络13，411（2000）。[6] D.Maino、A.Farusi、C.Baccigalupi、F.Perrotta、A.Banday、L.Bedini、C.Burigana、G.De Zotti、K.G’orski和E.Salerno，《theRoyal天文学会月报》334，53（2002）。[7] J.-F.Cardoso和A.Souloumiac，《IEE过程F（雷达和信号处理）》，第140卷（IET，1993），第362-370页。[8] L.Tong、V.Soon、Y.Huang和R.Liu，《电路与系统》，1990年。，IEEE国际研讨会（IEEE，1990）第1784-1787页。[9] A.Hyv¨arinen，神经计算22，49（1998）。[10] E.Moulines、J.-F.Cardoso和E.Gassiat，《声学、语音和信号处理》，1997年。ICASSP97，1997 IEEE国际会议，第5卷（IEEE，1997），第3617–3620页。[11] A.Hyv¨arinen，J。

Karhunen和E.Oja，《独立成分分析》，第46卷（John Wiley&Sons，2004）。[12] T.A.Ensslin、M.Frommert和F.S.Kitaura，《物理评论》D 80，105005（2009）。[13] P.科蒙，《信号处理》36287（1994）。[14] A.Khintchin，Mathematische Annalen 109，604（1934）。[15] N.Oppermann、M.Selig、M.R.Bell和T.A.Ensslin，《物理评论》E 87，032136（2013）。[16] D.Buscombe，《计算机与地球科学》86，92（2016）。[17] H.Junklewitz、M.Bell、M.Selig和T.Ensslin，《天文学与天体物理学》586，A76（2016）。[18] M.Selig、V.Vacca、N.Oppermann和T.A.Ensslin，《天文学与天体物理学》581，A126（2015）。[19] S.Kullback和R.A.Leibler，《数理统计年鉴》22，79（1951）。[20] N.维纳，《平稳时间序列的外推、插值和平滑》，第2卷（麻省理工学院出版社，剑桥，1949年）。【21】M.F.Hutchinson，《统计模拟与计算中的通信》，19433（1990）。【22】M.Selig、N.Oppermann和T.A.Ensslin，《物理评论》E 85，021134（2012）。【23】M.Selig、M.R.Bell、H.Junklewitz、N.Oppermann、M.Reinecke、M.Greiner、C.Pachajoa和T.A.Ensslin，《天文学与天体物理学》554，A26（2013）。