平稳遍历过程的希尔伯特空间

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《A Hilbert Space of Stationary Ergodic Processes》
---
作者：
Ishanu Chattopadhyay
---
最新提交年份：
2018
---
英文摘要：
  Identifying meaningful signal buried in noise is a problem of interest arising in diverse scenarios of data-driven modeling. We present here a theoretical framework for exploiting intrinsic geometry in data that resists noise corruption, and might be identifiable under severe obfuscation. Our approach is based on uncovering a valid complete inner product on the space of ergodic stationary finite valued processes, providing the latter with the structure of a Hilbert space on the real field. This rigorous construction, based on non-standard generalizations of the notions of sum and scalar multiplication of finite dimensional probability vectors, allows us to meaningfully talk about \"angles\" between data streams and data sources, and, make precise the notion of orthogonal stochastic processes. In particular, the relative angles appear to be preserved, and identifiable, under severe noise, and will be developed in future as the underlying principle for robust classification, clustering and unsupervised featurization algorithms.
---
中文摘要：
在数据驱动建模的不同场景中，识别隐藏在噪声中的有意义信号是一个令人感兴趣的问题。我们在这里提出了一个理论框架，用于利用数据中的固有几何结构来抵抗噪声破坏，并且在严重混淆的情况下可以识别。我们的方法是基于在遍历平稳有限值过程空间上发现一个有效的完全内积，为后者提供实数域上希尔伯特空间的结构。这种严格的构造基于有限维概率向量的和和和和标量乘概念的非标准推广，使我们能够有意义地讨论数据流和数据源之间的“角度”，并使正交随机过程的概念更加精确。特别是，在严重噪声下，相对角度似乎可以被保留和识别，并将在未来发展为鲁棒分类、聚类和无监督特征化算法的基本原则。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--
一级分类：Computer Science        计算机科学
二级分类：Discrete Mathematics        离散数学
分类描述：Covers combinatorics, graph theory, applications of probability. Roughly includes material in ACM Subject Classes G.2 and G.3.
涵盖组合学，图论，概率论的应用。大致包括ACM学科课程G.2和G.3中的材料。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--

---
PDF下载：
--> A_Hilbert_Space_of_Stationary_Ergodic_Processes.pdf (1.38 MB)

2022-6-25 02:26:27 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：希尔伯特空间 希尔伯特 identifiable Applications Econophysics

平稳遍历过程的希尔伯特空间芝加哥大学电子邮件：ishanu@uchicago.eduAbstract-识别隐藏在噪声中的有意义信号是数据驱动建模的不同场景中产生的一个有趣问题。我们在这里提出了一个理论框架，用于利用数据中的固有几何结构来抵抗噪声破坏，并且在严重混淆的情况下可能是可以识别的。我们的方法基于在遍历平稳单位值过程空间上发现一个有效的完全内积，为后者提供了真实域上的希尔伯特空间结构。这种严格的构造基于有限维概率向量的sum和标量乘法概念的非标准概括，使我们能够有意义地讨论数据流和数据源之间的“角度”，并使正交随机过程的概念更加精确。特别是，在严重噪声下，相对角度似乎可以保持和识别，并将在未来发展为鲁棒分类、聚类和无监督特征化算法的基本原则。一、 初步概念定义1（内部产品和内部产品空间）。实向量空间上的内积  ;   i： X个十、R、 以满足以下条件ed：u；vwX；R胡；（v+w）i=胡；v+wi=（hu；vi+hu；wi）（双线性）v；wX；高压；wi=hw；vi（对称）uX；胡；ui=；其中HU；ui=0）u=0（正De具有内积的向量空间是内积空间。

请注意，内积必然导出一个范数，这反过来又导出一个度量[6]、[10]。定义2（完整的内积空间或希尔伯特空间）。一个完整的内积空间，或Hilbert空间[10]，是一个具有内积的Banach空间，即：空间中的每个Cauchysequence在空间中收敛。符号1（严格正概率向量）。对于nn，严格正概率向量的空间是denedas:P+n=（}Rn:i}i>；Xi}i=1）（2）A.概率向量sp+nca上的阿贝尔群可以通过以下二元运算得到阿贝尔群的结构[9]：:P+nP+n！P+n[1]：}；}P+n；i2 f；  ; ng；}}i、 }i}iXj}j}j！（3） 我们表示如果没有混淆的话，在续集中简单地用+表示。很容易看出，我们有以下属性（将sp+ninto设为阿贝尔群，以+作为群和）：}；}P+n；}+}P+n（4a）}+}=}+}（4b）！UnP+n；这样}P+n；}+Un=}（4c）}P+n；！}P+n；这样}+}=Un（4d），那么加法恒等式由统一概率向量给出。InP+n，由：Un给出==n=n  =n（5） 群的“零元素”是均匀分布。B.概率向量上的闭标量乘法有限维概率向量存在于n中，我们已经有了通常的元素级标量乘法。然而，这种元素级缩放的结果不会是概率向量，“1-范数不会是统一的。因此，在通常的乘法下，这些集+不会闭合。然而，我们可以ne一种确实闭合的乘法运算：R、 }P+n；i2 f；  ; ng；(})i、 }iXj}j（6） 在续集中，我们用simpleconcatenation（删除) 如果没有混淆。

很容易看出：R、 }P+n；}P+n（7a）}P+n；}=联合国（7b）R、 }；}P+n；(}+}) =}+}（7c）R、 }P+n；}+ ()}=Un（7d）; R、 }P+n；()}=(}) =(}) （7e）因此，P+nhas是面积向量空间的结构，其中组和是向量和，而上述dened乘积是向量和eld元素。二、概率向量上的内积n维向量通常的“点”积非常明显地适用于p+n的元素。然而，这并不是p+n的唯一一致内积eld。定义3（概率向量的内积）。韦德内赫;i： P+nP+n！Ras：}；}P+n；h} ；}i=nXi=1ln（}i=}i+1）ln}i=}i+1（8） 引理1。定义。3种规格当p+n被视为实向量空间时，e是p+n上的内积，其中向量加法和标量乘法运算为de内德·伊内克。（3） 和式（6）。证明：Def的状况。1易于验证ed完成了证明。符号2。基于引理1，我们表示Defn中引入的重值函数。3作为对数内积。接下来，我们声称（P+n；h;i） 实际上是一个完整的乘积空间，即：一个希尔伯特空间。注意，由于CEP+nonlyconsiders概率向量具有非零项，我们似乎失去了完整性：这样严格的元素正概率向量序列可以很好地收敛到一个具有零项的序列，因此在P+n之外。然而，我们得到了以下结果：引理2（概率向量的希尔伯特空间）。P+nisscomplete w.r.t.到对数内积诱导的范数。证明：我们需要证明每个柯西序列inP+nw。r、 t.由对数内积导出的范数收敛于inP+n。设fxngbe是赋范向量空间x中的Cauchy序列，其中(;) 表示诱导度量。

我们声称： >;k确保`=k；kx`k<（权利要求A）为了确定权利要求A，我们假设如果可能： >;k确保`=k；kx`k>（假设A）现在，从deCauchy序列的初始值，我们有： >;NN；例如，M；n>n；d（xm；xn）<（9） 修复一些和相应的。现在，对于anyxX，andm；n>n，我们有：d（xm；x）d（xm；xn）+d（xn；x）（三角不等式）） > d（xm；xn）=d（xm；x）d（xn；x））d（xm；x）d（xn；x）（10） 设置x为向量空间0，我们有：m；n>n；kxmk公司 kxnk公司（11） 显然，如果假设A成立，我们可以选择M；n这与公式（11）相矛盾。因此，我们得出结论，任何Cauchysequence的项必然保持有界。因为有任何零项都意味着一个无界的诱导范数，所以我们得出结论，在p+nar外收敛的序列不是Cauchy序列。因此，每个柯西序列都必须收敛于inp+n。这就完成了证明。A、 概率向量空间中的测地线度量空间中的测地线是连接两点的路径，因此没有其他路径的长度更短。为了完整性，我们在这里注意到形式上的de路径长度的初始值和测地线。首先，我们注意到以下结果：引理3。Let}；}P+n.那么[0;1],},}(1)}=}+ (1)}) k}+}k级=k}}k（12），其中范数由对数内积导出。证明：我们注意到：}=r  (}（一）(}（一）  z（13）}+=r  (}（一）+(}（一）  z（14）表示}+}=q  }吉（}ji）  y型=(}})（15） 这就完成了证明。定义4（曲线和直线的长度可绘制曲线）。设（X；d）是度量空间，IRa非空间隔，和00:5100:5100:51图。1、由长度为3的概率向量定义的2-单纯形上的测地线。红色曲线是两条相互垂直的“直线”。空间的零点是均匀向量定义的点（1=；=；=；=3），其中红色的正交曲线相交。:我Xa Lipshitz连续映射，即：e：，一条曲线。

We de净长度()[0;]:L(),supnXi=1d(（ti); （ti））（16）当最高法院接管所有n和所有sequencestt时  特尼尼。我们这么说是直肌可启用ifL()<.注意长度，如dened，对重新参数化不变性：ifs:I！Xis是曲线，andIRis另一个间隔，andf：我！i连续、满射和非递减或非递增，即：t指数f（t）f（t）orf（t）=f（t），然后曲线，sf： 我！Xsatis公司esL（s）=L（s）。虽然抽象度量空间中曲线的速度没有意义，但“速度模量”或度量导数ned如下：j_（t） j=lim SUP！d(（t+h）；（t） h（17）利用几乎所有t的上述limsup是一个极限的事实，我们可以写：L() =ZIj公司_（t） jdt（18）定义5（长度空格）。对于度量空间（X；d），与函数d:X关联的内或长度度量十、[0;]判定元件内德比亚迪（x；y），inffL()j边缘（[0；1]；X）；（0）=x；（1） =ygwhereLip（[0；1]；X）表示来自[0；1]toX的所有Lipshitz连续映射集。通过三角不等式，我们得到了d=d。对于所有的矩形可弯曲，则轴是一个长度空间。定义6（测地线）。在度量空间（X；d）中，矩形able曲线:我Xis测地线if具有恒速和全速；tI；tt:L(j[t；t]）=d(（t） ；（t） ）（19）备注1。紧接着，直肌able曲线:我Xis是测地线if且仅ift；tI；(0;); d(（t） ；（t） （）=t型t型（20） 命题1（测地线inP+n）。对于任何}；}P+n，参数映射: [0;1]!P+nis dened as公司() =}+ (1)}(21)1)是}；}之间的测地线。2） 我们有特征：k}}k=infsZj公司_（t） jdt（22），其中Lip（[0；1]；P+n）；(0) =}; （1） =}和3）最小化等式（22）RHS上的函数。证明：（1）引理3得出恒速等于tok}}k、 立即验证es等式（20）。（2） 辛塞尔() 等于tok}}k、 我们得出了dep+nisa长度空间，这就意味着eq中所需的结果。(18).

（3） 根据Jensens不等式[2]，Zj_（t） jdtsZj_（t） 具有等式的jdt（23）当且仅当ifj_（t） 几乎所有t的jis常数。因此，任何解决方案函数必然是一个恒速测地线，这意味着是所需的最小值。1） 绘制测地线inP+n：我们研究绘制法线曲线inP+n的条件。将两条任意曲线inP+nbe表示为：() =}+ (1)}(24)() =}+ (1)}（25）这些曲线的切线向量由以下人员给出：@() =(}}) (26)@() =(}}) （27）切向量的内积为零：（}})?(}}) （28）如果曲线通过原点，即：，如果}=}=0，则曲线在原点处正交相交的条件由}？}给出。另一方面，如果曲线是正交的，并且不通过原点，那么我们可以计算交点为：?=h}}; }}ik}}k（29）}=?}+ (1?)}（30）作为健全性检查，如果}=}=0，我们有?= 对于j的情况，我们绘制了一些测地线图1中的j=3。备注2。我们注意到，对于三元字母表的情况，p+nat的任何点的切空间是二维的{在这种情况下，在任何点相互正交的向量的数量是。很明显，一般来说，切空间具有维数jj.三、 建模随机过程我们希望将形式主义扩展到随机过程。为了以一致的方式执行此扩展，我们需要进行一些开发。

我们从一些符号和初步概念开始。符号3（有限Alpahbet上的序列）。1） 让成为一名nite字母，以及!严格按照NITESEQUENCE（或字符串）超过（！不是变量；它是in的缩写nite迭代，此符号在上下文中是标准的-语言[7]）。2） 的集合无约束但无约束的字符串由Kleene闭包表示, 即?[4].3） 对于两个双序列x；y、 串联为writensimpleasxy。4） 空单词表示为.与文献中通常遇到的情况相比，我们发展了一种稍微非标准的建模到草率过程的形式主义。我们对在nite套装（规格ed alphabet），而不是realline，我们有意偏离标准形式，忽视了nite重视此类过程的性质。定义7（Cantor拓扑打开-语言）。LetB=外汇!:x个?gbe一系列innite层序。注释X!严格表示nite层序是常见的前x、 很容易检查Qualies作为归纳拓扑的基础。特别是，我们有：1）SB=?!= !2） B；B2 B）B\\B=orBjBorBjB，它保证了thatzB\\B）9B2-BsuchthatzB\\B\\B。因此，存在一个唯一的拓扑，它是一个基础。我们将此拓扑表示为asU。事实上，这就是Tychono诱发的康托拓扑 结构【8】不可计算产品nite离散集【7】（在这种情况下nite集合是字母表）。我们注意到，由于是u的基，所以everyopen set inu可以写成b元素的并集。由于双可数，所以每个开集都是FORML!; Lj公司?.定义8（Borel-阿尔赫布拉夫). F是dened是最小的-代数包含u，意味着f是theBorel吗-代数wrtU。

很显然，每个可测集也是!; Lj公司?.使用F, 我们现在可以ne a概率空间(!;F; ),它模拟了一个随机过程，将概率分配给nite样本路径。特别值得注意的是nite单样本路径不可测量（此类设置不包括在); 仅限speci形式的集合ed之前，是；之后nite长度包括未来所有可能的延伸。在此，我们还考虑mapT：!!!判定元件内德：T（xxx  ) =xx号  （31）可立即测量wrtF. 在未来，我们假设：AF; （T（A）=（A） （平稳性）强调我们只考虑平稳过程。此外，我们假设：AF; （A）TA） =0）（A） 2 f；g（遍历性），确保我们感兴趣的系统也是遍历的。备注3（与标准形式主义的关系）。这与标准的形式主义有着明显的联系。即nite维度分布可以识别ed as：Pr（XX；  ; Xn=xx  xn）=（二十）  xn公司!) （32）注意：Xxn（二十）  xn公司!)=[xnxx号  xn公司!!=（二十）  xn公司!)（33）意味着nite维度分布是Kolmogorov一致的，因此使用Kolmogorov Extensiontheorem[3]，[5]，我们可以在两种形式之间来回切换。A、 状态和过渡结构定义9（概率内极等效和因果状态）。We de集合上的一个关系nite但是无界字符串，即：集合?, 如下：！?; !N如果>>>>>>>：(!!) =(!!) = 0或(!!),;和(!!),;andz公司?;（！z）!)(!!)=（！z）!)(!!)很容易看出，这实际上是一个右不变量等价关系，即：e：，xNy）8z?; xz公司Nyz（34），因此直觉地理解了国家的概念。

We de过程的“因果状态”，作为该关系的等价类。定义10（符号导数）。Forx?, 具有（十）!)>, 符号导数: ?!P+jjis字母表上的概率分布，dened身份：（十）=（十）!:x个?; )（十）!:x个?)（35）很明显，我们对anyx?, 具有（十）!)>,P（x） j= 1、我们参考（x） 作为符号导数，并表示为x、 很明显，对于stringsx；x个?, 我们有：xNx，8y?; xy型=xy（36）引理4（Su符号导数的效率）。符号导数的集合nite字符串，即：e:，fx： x个?guniquely规格es a度量关于可测空间(!;F).证明：是唯一指定的由递归生成：; (!) =（37a）x?; ; （十）!) =（十）!)x个如果（十）!)>否则为0（37b），这就完成了证明。备注4。证明表4中的主张的另一种方法是证明完整的符号派生词集可归纳出完整的nite维度分布（FDD）通过：Pr（X）=（38）Pr（X  XnXn+1=x  xn公司)=Pr（X  Xn=x  xn）x个（39）显然是Kolmogorov一致的，因此通过Kolmogorov扩张定理[5]诱导出一个随机过程，其FDD等价于(!;F; )（见备注3）。1） 作为随机变量的状态：我们不希望确定感兴趣的过程的任何初始状态。因此，给定一个观测序列，我们假设在观测之前可能已经发生了任意序列。这就引出了因果状态作为随机变量的概念：[]：(!;F; )!（Q；FQ；Pr）（40）其中Q是一组等价类（atmost countablestate空间），FQ是一个适当的-代数（通常我们会将其视为q的幂集）和pris是度量的推进.