自相关分量的噪声独立分量分析

首先，我们陈述后验信息哈密顿量H（s，M | d）=-ln（P（s，M | d）），无任何组分或混合物独立项。H（s，M | d）=s+M+R+N-1毫米s- s+M+R+N-1d+s+s-1s+常数（d）。（26）IV.对此类问题的后验典型近似方法是将最可能的后验值作为参数的估计值。这是通过最小化上面的信息哈密顿量来实现的。它可以解释为后验分布的一种近似，DeltaDistribution在信息量最大的位置达到峰值，即真实后验分布和近似后验分布之间的最小Kullback-Leibler（KL）差异[19]。为此，后者可以写成PMAP（s，M | d）=δ（s- sMAP）δ（M- MMAP）。（27）正如我们将在第节中说明的那样，这种近似结果不足以实现有意义的成分分离。八、对组分和混合物进行迭代极小化，我们并没有得到令人满意的结果。最大后验估计是已知的过拟合噪声特征。这种成分分离asit依赖于哈密顿量相对于其中一个参数的迭代最小化，因此产生了严重的后果。在每个步骤中，我们都会忽略影响连续最小化的因素。通过这种方式，我们在参数中积累错误，导致无法识别的强相关组件。在最小化过程中，MAP算法接近合理的组件分离，但它不会收敛到这些分离，并继续累积误差，在其他地方收敛。图1显示了当前估计值与MAPcase真实组件的偏差，以及下面讨论的算法。我们解决这个问题的策略是选择aricher模型来近似后验分布，后验分布能够捕捉不确定性特征并减少过度拟合。

我们不使用deltadistribution来描述后验分量，而是使用高斯分布的变分方法，必须估计其参数。对于后验混合，我们坚持点估计的初始描述，因为这对于许多应用来说是足够的。因此，我们用formeP（s，M | d）=G（s）的分布近似真实后验值- m、 D）δ（m- M*) . （28）在这个近似中，我们描述了我们对混合M和点估计M的后验知识*由均值为m且协方差为D的高斯分布确定的分量。我们将使用m作为后验分量的估计，协方差D描述了该估计的不确定性结构。与先验协方差S相比，后验协方差在调和域中不必是对角的，因为可能性通常会破坏同质性。这种近似的主要问题是后验混合M的点估计。因此，我们假设对混合物有绝对的把握。这当然不是因为问题的概率性质，但这对于任何情况下的每个点估计都是正确的。该近似值还影响将包含混合物的组分D的后验协方差。由于我们假设其中没有不确定性，我们不会考虑混合物中的任何错误，因此低估了成分的真实不确定性。在低噪声区域，这种影响可以忽略不计，在低信噪比下，这种影响会变得更大，正如我们将在数值示例中看到的那样。然而，该模型似乎在相对高噪声的情况下表现得相当好，但必须谨慎对待错误估计，并记住这些估计值会被低估。

人们很容易想到一个更复杂的模型，在高噪声情况下表现得更好、更准确。例如，也可以用高斯分布近似混合物，或使用一个较大的高斯分布，也可以考虑组分和混合物之间的交叉相关性。这些模型带来的代价是大幅增加了分析和数值复杂性。由于没有可用的后验分析形式，可以从后验抽样中获得可能的最佳解，后验抽样可以在计算上变成ex0 50 100 150 200 250 300迭代10-1100偏差迭代平均偏差低噪声估计不确定度高噪声图1。与最终结果的估计不确定性相比，所有三个示例场景在最小化过程中当前估计值与真实成分的平均偏差。成本非常高，因为问题的维度随着组件的分辨率而扩展。我们选择公式28中给出的近似值，因为它应该在尽可能简单的情况下捕获相关量。为了估计等式28中分布的参数，我们必须将其KL发散量最小化到初始后验值。散度定义为klhep（s，M | d）| P（s，M | d）i≡ （29）≡^Ds DMeP（s，M | d）ln“P（s，M | d）eP（s，M | d）#（30）=hH（s，M*|d） iG（s）-m、 D）- hln[G（s- m、 D）]iG（s-m、 D）。（31）混合物上的积分只是将everyM替换为M*. 为了使表达式更简短，我们将从现在起删除星号，并在所有进一步的计算中仅使用符号M。我们现在必须计算总信息哈密顿量的高斯期望值。我们可以使用跟踪操作的循环特性和标识hs+iG（s）来执行此计算-m、 D）=mm++D。（32）KL发散中的第二个期望值对应于高斯分布的熵。

然后，解析表达式读取skl=m+m+R+N-1毫米m+TrM+R+N-1毫米D- m+m+R+N-1d+m+S-1m+TrS-1D+ Tr[1+ln（2πD）]。（33）对于近似分布的所有参数，我们必须最小化该表达式，即M、D和M。我们将从后面的部分开始。将含有s的等式26中的哈密顿量项与含有mwe的KL中的哈密顿量项进行比较，发现其类似结构。给定一些混合物，最小值将是相同的。我们可以通过将KL散度对其的导数设置为零来求解后验平均值：δKLδm+！=0（34）=- M+R+N-1d+M+R+N-1毫米m+S-1m（35）=> m级=M+R+N-1毫米+秒-1.-1M+R+N-1d（36）解决方案的结构看起来很熟悉。事实上，这是已知混合物的维纳滤波溶液。我们还可以求解后验协方差：δKLδD！=0（37）=> D=M+R+N-1毫米+秒-1.-1（38）这也是维纳协方差forknown混合。然后，我们可以定义信息源j，并写出维纳滤波公式的近似后验平均值：j≡ M+R+N-1d（39）m=Dj（40）如果我们知道均值和协方差D的混合m a高斯将是给定数据的成分的精确后验值。现在，我们还必须计算KL散度对混合矩阵Mijj项的导数，同时保持m和D固定。在此计算中，跟踪项TRM+R+N-1毫米D（41）在这种情况下，散度不会消失，因为它包含混合物M，并将产生所需的不确定性修正，使混合物正则化，从而使算法收敛。不幸的是，这个术语在数字上很有挑战性。操作员的轨迹可以通过操作员探测来提取【21，22】。

这涉及使用共轭梯度法进行多个数值运算符转换，这在计算上很昂贵。我们将选择另一种方法，通过隐式地考虑它们来避免跟踪表达式。为此，我们仍然需要求解多线性系统，但我们发现新方法在数值上更稳定、更通用，因为它可以应用于没有显式表达式的情况。为了获得KL散度的解析表达式，我们计算了信息哈密顿量相对于近似后验高斯分布的期望值，这首先导致了跟踪项的产生。为了避免它们，我们将在对近似高斯进行平均之前考虑KL发散，并在梯度推导过程中保持这种方式。为了估计得到的表达式，我们将其替换为从分布G（s）中提取的样本的平均值，以近似平均值-m、 D）。KL分歧中有关M的所有相关术语如下：KLM=hs+M+R+N-1RM信号-m、 D）-hd+N-1RM信号-m、 D）（42）对于混合物Mwe的最小化，假设后验平均值m和协方差dt固定，因此我们可以计算上述表达式对混合物的导数，忽略期望值：δKLM（s，m | D）δMij=hs+m+R+N-1R1ijsiG（s）-m、 D）-hd+N-1R1ijsiG（s）-m、 D）（43）运算符1ijwith（1ij）ij=δiiδjj超出条目ij的位置。它与所有条目为零的混合矩阵具有相同的形状，除了位于ij位置的一个。将该项与信息哈密顿量δH（s，M | d）δMij=s+M+R+N的导数进行比较-1R1ijs- d+N-1R1ijs（44）用于最大后验近似，与我们的方法的主要差异变得明显。在最大后验法中，仅使用分量s的点估计。

我们的方法将哈密顿量的最小化替换为近似高斯下的平均哈密顿量的最小化，同时考虑了分量的不确定性结构。将我们的混合梯度设置为零，允许我们以维纳滤波的方式求解混合=s++R+N-1R1s-1.d+N-1R1s（45）第一部分作为维纳协方差，第二项对应于信息源形式。在某些情况下，我们必须用数值计算所有这些期望值，以最小化与混合物M的偏差。我们要计算的项是高斯分布G（s）的期望值-m、 D），但它们会引入不切实际的跟踪项。相反，我们想用一组L样本{s来近似它*}按G（s）分配- m、 D）使用抽样分布。G（s）- m、 D）≈LLXl=0δ（s- s*l） （46）使用此分布，期望值替换为样本集上的平均值。在下一节中，我们将讨论如何从分布中获取这些样本。五、 近似后验抽样从组件的近似后验分布中提取样本是一项挑战，因为我们无法直接访问其特征基，其中相关结构是对角的。如果有，我们可以在每个维度上抽取均值为零、方差为1的独立高斯样本，用特征值的平方根对其进行加权，以调整到正确的方差，并应用特征向量给出的变换拓扑空间。在这一点上，样本具有正确的相关结构，只有通过添加它才能调整到正确的平均值。因此，主要任务是获得具有正确相关结构的样本。在我们的近似后验概率（s | d）=G（s）的情况下- m、 D），（47）我们必须找到残差- m） 使其满意- m） （s）- m） +iG-m、 D）=D。

（48）显然，我们无法获得真正的组件s。我们所拥有的是对它们的先验信念。它的相关性在每个分量的傅立叶域中是对角的，我们可以使用上面的描述轻松地从中生成样本。sx G（s，s）（49）这些分量与truecomponents无关，除了它们的相关结构。我们现在想找到一个令人满意的- m） （s）- m） +iG-m、 D）=D。（50）后验协方差是比亚迪描述的维纳滤波器协方差-1=M+R+N-1毫米+秒-1（51）在给定的混合物M、仪器响应R、噪声方差N和先验信号协方差S的情况下，我们可以从我们获得的数据重建数量M，如果我们是真实的成分。因此，我们必须使用我们的线性数据方程d=RM s+n来模拟任意样本的测量过程。（52）我们可以从数据空间中对角的先验噪声分布G（n，n）得出噪声实现。在这个模拟数据上，我们只需使用（53）j执行维纳滤波器重构m=Dj≡ M+R+N-1d。（54）这是采样过程中数值昂贵的部分，因为它涉及求解系统的共轭梯度。然而，一旦我们获得模拟信号的重构，我们就可以计算残差，这完全符合D中编码的相关结构。这些分量现在是从分布G（s）中提取的样本- m、 D）。我们真正想要的是样本*来自G（s）*- m、 D），源于我们的真实数据。这两种分布的残差具有相同的统计特性，因此我们可以将它们设为相等，并求解s*.s- m！=s*- m（55）s*= s- m+m（56）这些组件*现在完全按照G（s）进行操作*- m、 D）平均值m和协方差D。

我们可以使用此过程提取的样本来计算混合物最小化过程中所需的期望值。此外，我们可以使用样本轻松估计任意后验属性，例如分量估计的不确定性。让我们简要总结一下这种近似后验抽样的方法。我们从一个独立于先前成分的样本sdrawn开始，使用这些样本来建立一个模拟观测，它为我们提供模拟数据d。我们对这些数据进行维纳滤波，以获得后验平均值m。我们从计算中唯一感兴趣的是残差s-m、 asit允许我们构建样本*从我们实际感兴趣的平均mof分布来看。我们以这种方式绘制的样本越多，采样分布就越接近真实分布。然而，我们希望使用尽可能少的样本，因为它们的计算不仅在采样过程中，而且在所有进一步的计算中（如梯度估计）都是昂贵的。在平均成分m和混合物m的交替最小化过程中，我们必须永久性地重新计算样本，因为平均值和混合物不断变化。我们发现，从少量样本开始并在推理过程中增加样本数量是可行的。请注意，KL散度未完全计算，也仅通过样本进行估计，因此此估计继承了随机变化。六、 算法现在我们有了所有的工具来建立一个迭代方案来最小化KL散度，以便推断近似的参数。为了使用该算法，我们需要了解编码在相关结构N中的特征噪声行为，以及先验协方差S描述的各个分量的统计特性。

此外，我们必须指定要推断的组件数量。我们将从混合物的随机猜测开始，并使用它来估计初始平均成分和协方差D，前提是使用维纳滤波器对混合物的初始猜测是正确的。D-1=M+R+N-1毫米+秒-1（57）j=M+R+N-1d（58）m=Dj（59）我们现在得到了近似孕激素分布G（s）的第一个估计值- m、 D）。为了估计一个新的混合物，我们可以画一组独立样本{s*} 使用上一节中描述的步骤从该分发中删除。{s*} x克（s）- m、 D）（60）我们使用这些来用抽样分布上的平均值代替高斯期望值，这允许我们使用维纳滤波器式公式来解决混合的新估计：m=s++R+N-1R1s-1{s*}d+N-1R1s{s*}（61）现在我们必须考虑分量和它们的结构向量之间的乘性简并。因此，我们将混合物的每一列标准化为| | M+j | |=1的L-范数，相应地将每个组分平均值乘以标准化因子，以保持乘积M M不变。如果组件的功率谱未知，我们在此执行一个关键的滤波步骤【15】，此时我们选择不讨论该步骤。通过这种方式，我们获得了对混合的新估计，这允许我们估计新的分量均值和协方差，这允许我们提取新的样本，用于新的混合，等等，直到算法收敛。我们将在下一节讨论其收敛性。然而，在算法收敛后，我们可以使用样本来计算涉及组件的任何后验感兴趣量，并估计其不确定性。一个例子是通过evaluatingDxx重建组件的空间不确定性=（sx- mx）{s*}. （62）七。

在其收敛性上，每一个新参数的估计本身都将减少我们的近似后验值和真实后验值之间剩余的KL偏差，至少是暂时的。随机性是由于采样引入的噪声造成的，可以通过使用更多的样本来减少，因为计算成本较高。让我们简略地讨论一下等式33中所述的Kullback-Leibler散度的对称性、结构和极小值。我们从两个可能性贡献开始kl b=m+m+R+N-1毫米m- m+m+R+N-1d。（63）在这里，由于案例R+N中的二次结构，我们对混合成分M M有一个唯一的最小值-1R是满秩运算符，否则其零空间是无约束的。除此之外，单个混合物M和组分意味着M，上述术语表现出两种对称性，因为我们可以将每个组分的混合物乘以任意因子，同时将相应组分除以相应因子。这引入了一个能量最小的子流形。最后，我们可以交换组件，同时交换混合矩阵的条目。根据组件的数量，我们可以得到额外的c！乘以最小值，c是组件的数量。关于混合物和组分的唯一其他术语是它们的其他可能性贡献和组分之前的术语kl b=TrM+R+N-1毫米D+m+S-1m，（64），它们分别是m和m中的二次项，带有正号，因此不会引入额外的极小值，但会消除一些退化。首先，这些项将零空间简并度限制在一个点上。M和M之间的乘法泛型也被打破，因为二次项都像Lnorms一样正则化。剩下的是Mand m乘以-每个组件1个，允许2个可能性。