任意罕见事件的贝叶斯后验概率

观察者的先验由乘积密度π（p）表示（q） 结束, 也就是说，他认为参数p和q是独立随机向量的实现。让Xnbe作为一个随机向量，描述第一个n到SSE的结果，即颜色和侧面。让bn表示蓝色模具在前n个周期内的运行次数。设π（·| Xn）和（·| Xn）是观察Xn后蓝色和红色骰子的后验密度。设^pk（Xn）=Rpkπ（p | Xn）dλ（p）a和^qk（Xn）=Rqk（q | Xn）dλ（q）。先验密度的乘积形式确保了任一模具的边际后验分布完全由对该模具的观测和该模具的边际先验确定。我们研究以下问题。固定侧面“k”∈ {1，…，K}和常数∈ （0，∞). 考虑一系列环境，每个环境都有一个数据生成参数向量θ=（p，q）∈ 观测长度n。在每个环境中，我们有p'k≥ 我们感兴趣的是Bayesestimators是否反映了这个不等式。一般来说，我们不能期望^p'k（Xn）的概率≥ c^q'k（Xn）比p'k=cq'k时高得多。因此，我们要问，在所有环境中，观察者是否有很高的概率^p'k（Xn）≥ c（1- δ） 给定常数δ的^q'k（Xn）∈ （0，1）。显然，当p'kapproaches为0时，我们需要一个更大的观测长度n，以便数据覆盖之前的数据。但n相对于p'k的增长速度必须有多快？将Diaconis和Freedman的一致一致性结果分别应用于每个Bayes估计量，会导致这样一种情况，即n必须非常大，以至于蓝色骰子落在k侧的预期次数，即bnp k，超过了当p'kapproaches为零时爆炸的阈值。以下定理表明，如果先验密度满足条件p，则存在一个独立于p的阈值。定理2。

假设π和 满足条件P。让“k”∈ {1，…，K}，c∈（0，∞), 和，δ，η∈ （0，1）。然后存在N∈ 因此，对于要掷骰子的选项的确定顺序，（5）Pθ（P'k（Xn））≥ c（1- δ） ^q'k（Xn））≥ 1.- for allθ=（p，q）∈ 带p？k≥ cq和所有n∈ N带bnp？k≥ N和bn/N≤ 1.-η。我们在下一节中证明定理2。请注意，这里对样本量的唯一限制是，p'kbe足够大的NW的乘积和选择红色DIE的周期的比例不能太小。然而，p'kand q'kc可以任意小。这在分析dat a生成过程包含稀有事件的情况时非常有用。在假设检验的语言中，定理2说，在先验的状态条件下，拒绝无效假设的检验≥ cq'kif且仅当^p'k（Xn）<c（1-δ） ^q'k（Xn）的I类错误概率最多为providedp'k≥ N/bn（且bn/N<1- η） 。对于每个n，错误概率的界限在指定的参数集上保持一致。请注意，当^p'k（Xn）<c^q'k（Xn）时，对于拒绝假设的测试，无法获得这样的Bound。现在我们来看看随机选择骰子的情况。选择蓝色模具的可能性不需要随时间保持恒定，但不得取决于未知参数θ。让随机变量bn表示在前n个周期中蓝色骰子的投掷次数。推论1。假设π和 满足条件P。允许∈ {1，…，K}，c∈ （0，∞), an d，δ∈ （0，1）。

我们认为，在每一个时期，抛下的骰子都是随机的，与过去无关，而且是有限的→∞E（Bn）n>0，线性支持→∞E（Bn）n<1。然后存在N∈ 所以（7）Pθ（P'k（Xn）≥ c（1- δ） ^q'k（Xn））≥ 1.- for allθ=（p，q）∈ 带p？k≥ cq和所有n∈ N带np'k≥ N、 推论1的证明在下一节末尾给出。在导言第一段所述的决策问题中，定理2和推论1确保每当手术是更安全的选择时，医生实际选择手术的可能性至少为1-除非dr ug导致并发症的可能性小于N/N。除最后一种情况外，界限1- 在所有可能的参数上保持一致。在本节的其余部分中，我们假设在每个周期中，蓝色模具以相同的概率uB选择在随机m。uB的值不需要知道，我们只假设0<uB<1，因此满足条件（6）。下面的例子表明，在推论1中不能忽略先验密度的条件。示例3。假设K=2且0<uB<1。假设π满足条件Pand（q）∝ E-1/q。让c>0。然后每N∈ N、 存在θ=（p，q）∈ 带p≥ CQ和n∈ N带np≥ N因此pθ^p（Xn）<c^q（Xn）>.下一个示例显示推论1的样本大小条件np'k≥ N、 是小p'k的最佳选择。它不能被形式Nζ（p'k）的较弱条件所替代≥ N对于具有limt的某些函数ζ→0+ζ（t）/t=∞. 特别是，将ζ作为常数函数表明不存在N∈ N所以N≥ N意味着（7）对于具有pk的所有θ均成立≥ cqk。示例4。假设0<uB<1，π和 满足条件P。设c>0。

设ζ是具有limt的[0，1]上的非负函数→0+ζ（t）/t=∞.然后存在>0，因此对于每N∈ N、 存在θ=（p，q）∈ withp公司≥ CQ和n∈ N带Nζ（p）≥ N因此pθ^p（Xn）<c^q（Xn）> 。示例3和4在支持信息中得到了证明。假设在数据xn之后，观察者被告知下一个结果是“k”，但不是使用哪个模具。然后，贝叶斯规则意味着“蓝色”相对于“红色”的后验优势比为uBRp'kπ（p'Xn）dλ（p）uRRq'k（q | Xn）dλ（q），其中uR=1- uB.推论2。假设π和 满足条件P，则存在N∈ 确保当p'k≥ q？k和np？k≥ N、 概率至少为1- “蓝色”相对于“红色”的后验优势比为（1- ）·uBur当第（n+1）个骰子落在k侧时。这一推论在Fudenberg和He（2017）中使用，他们为信号游戏中的均衡需求提供了基于学习的基础。他们考虑一系列的学习环境，每个环境都包含“蓝色”发送者、“红色”发送者和接收者。发送方每个周期都与接收方进行大量匹配，并使用K条消息中的一条进行通信。有一些特殊消息“k”，在每个环境中，蓝色发件人发送的概率总是超过红色发件人发送的概率。假设接收者的共同先验满足条件P，并且在每个环境中，蓝色发送者播放“k”的预期总观测值都有足够的时间超过恒定值。然后，在每个环境结束时，如果他们观察到未知发送者发送的“k”的其他实例，则除了“k”之外，所有接收者都会为发送者的颜色分配一个后验优势比，该后验优势比不小于之前的红蓝比，无论观察到的消息“k”有多少。

接受者先验满足条件的一个主要案例是Pis-ctive play，这是游戏中最常用的学习模型，对应于Dirichlet先验的贝叶斯更新，但我们的推论表明，Dirichlet限制可以大大放宽。定理2和推论1的证明我们从证明定理2所需的两个辅助结果开始。引理1是一个大偏差估计，它给出了红色骰子投掷中k侧频率超过蓝色骰子投掷中k侧频率的一个函数的概率界。引理2意味着，在概率接近1的情况下，当bnp’kis足够大时，蓝色骰子落在‘k’侧的次数超过了阿吉文数。支持信息中提供了L emmas 1和2的证明。引理1。设sn为参数为n和p的二项随机变量，tm为参数为m和q的二项随机变量。设0<c′<cand>0。假设sn和t是独立的，p≥ cq。然后Tmm公司≥c′Snn+dn∧ M≤c′cc′d/（c′+1）。引理2。设M<∞ d>0。然后存在N∈ 所以如果sni是一个参数为N、p和np的非多项式随机变量≥ N、 然后是PP（序号≤ M）≤ 。第2条的证明。设rn=n- bnbe红色模具在前n个周期内通过的次数。让yn和zn分别为蓝色和红色模具在“k”侧着陆的次数。选择β>0和c′∈ （0，c）以便（8）1- β（1+β）（1- δ） >cc′+δ。根据命题1，存在γ>0，因此对于每n∈ N、 （9）^p'k（Xn）≥ φ（bn，Yn），^q'k（Xn）≤ ψ（rn，Zn），其中φ（b，y）=（1- β） yb+γ，ψ（r，z）=（1+β）z+γr。设d>0，使引理1中的界满足（c′/c）c′d/（c′+1）≤。我们现在证明，对于所有的b，r∈ N、 y=0，b、 z=0。

，r，不等式（10）zr<c′yb+db∧ r、 2cγc′δ<b<rη，y>M：=3c（d+γ）δη意味着（11）φ（b，y）>c（1- δ） ψ（r，z）。根据（10）中的第一个和第三个不等式，ψ（r，z）<ψr、 ryc′b+rdb∧ R= （1+β）yc′b+db∧ r+γr≤ （1+β）yc′b+δM3bc.应用这个结果，即不等式（8），是（10）中第二个和第四个不等式的两倍，我们得到φ（b，y）- c（1- δ） ψ（r，z）（1- δ） （1+β）>yb+γ1.- β（1- δ） （1+β）-cc′型-cγc′b-δM3b≥yb+γδ-δ-δM3b≥3bδM-δM3b=0，证明（1 1）。设N={N∈ 编号：bn/N≤ 1.- η} ，N=2cγ/（c′δ）, 每n∈ N带BN≥ 确定事件fn=Znrn<c′Ynbn+dbn∧ 注册护士, Gn={Yn>M}。适用于所有n∈ N、 bn<rn/η。因此，如果n∈ N和bn≥ N、 含义（10）=> （1 1）产量t hatFn∩ Gn公司 {φ（bn，Yn）>c（1- δ） ψ（rn，Zn）}。因此，通过不等式（9），Fn∩ Gn公司 {^p'k（Xn）≥ c（1- δ） ^q'k（Xn）}。根据引理1和d的定义，对于每个θ=（p，q）和p'k≥ cq'k，Pθ（Fcn）≤。根据引理2，存在N∈ 所以Pθ（Gcn）≤对于所有n和bnp'k≥ N、 因此，如果p'k≥ cq？k，n∈ N和bnp？k≥ N：=最大值（N，N），然后pθ（p'k（Xn）≥ c（1- δ） ^q'k（Xn））≥ 1.- Pθ（Fcn）- Pθ（Gcn）≥ 1.-。注意，N不取决于骰子选择的顺序。备注5。如果K=2，则每n≥ 1并且在前n个周期内，每选择一个固定次数的红色模具，q'kC的Bayes估计值可以显示为红色模具在k侧着陆次数的递增函数。这一事实可以与定理1结合，以给出定理2在k=2的情况下的长期预测。单调性结果不适用于K>2，定理2的证明也不使用定理1。推论1的证明。根据切比雪夫不等式，[Bn- E（Bn）]/n不可能收敛到0。

因此，根据条件（6），存在η>0和N∈ 所以事件Fn={η≤ Bn/n≤ 1.-η} 概率P（Fn）≥ 1.-对于所有n≥ N、 根据定理2，存在N∈ N因此pθ（p'k（Xn）≥ c（1- δ） ^q'k（Xn）| Bn=Bn）≥ 1.-for allθ=（p，q）∈ 带p？k≥ cq'kand所有n∈ N和bn∈ {1，…，n}，其中p（Bn=Bn）>0和bnp'k≥ Nand bn/n≤ 1.- η。设N=最大值（N，N/η).然后对于每一个带有p'k的θ≥ cq？K每n∈ N带np'k≥ N、 Fn公司 {Bnp'k≥N、 Bn/N≤ 1.- η} ，因此pθ（p'k（Xn）≥ c（1- δ） ^q'k（Xn）| Fn）≥ 1.-，这意味着（7），因为P（Fn）≥ 1.-。确认。我们感谢三位裁判提出了许多有用的建议。我们感谢Gar r y Chamberlain、Martin Cripps、Ignacio Esp onda和MuhametYildiz的有益对话。这项研究得到了国家科学基金会SES 155 8205的资助。参考Bochkina，N.A.和Green，P.J.（2014）。伯恩斯坦·冯·米塞斯定理和非正则模型。安。统计学家。42 1850-1878年。Diaconis，P.和Freedman，D.（1990年）。关于多项式概率Bayes估计的一致相合性。安。统计学家。18 1317-1327。Dudley，R.M.和Haughton，D.（2002年）。半空间后验概率相对误差小的渐近正态性。安。统计学家。30 1311-1344。Fudenberg，D.和He，K.（2017）。信号博弈中的类型相容均衡。arXiv:1702.0181 9。Thompson，L.A.（2014）。儿科人群罕见病推断的贝叶斯方法。在美国食品和药物管理局的演讲。U、 美国食品和药物管理局（2000年）。医疗器械临床试验中贝叶斯统计的使用指南。Rockwell，MD.《任意罕见事件贝叶斯后验概率的支持信息》回顾了Fudenberg、Kevin He和Lorens A.第2节的结果证明。

在证明定理1之前，我们先证明命题1，然后陈述并证明切尔诺夫不等式的一个简单结果。定理1的证明需要这两个结果。命题1的证明。π（p）/QKi=1pαi的假设-1i在int上一致连续 表示函数有一个连续的扩展∧π： → R、 见Dugundji（1966），定理5.2，第302页。设▄π=min{▄π（p）：p∈ }. 然后∧π>0。给定>0，选择δ∈ （0，|π）非常小，以至于（12）1+δ|π1-δИπ≤ 1+。为了通过Dirichlet积分之和来近似断言中的积分，我们使用f法，即连续函数|π可以由Bernstein多项式统一近似，见Lorentz（1986），第6页和第51页。因此，存在apolynomialh（p）=Xν，。。。，νK≥0ν+···+νK=mcνKYi=1pνii，cν=￠πνm，νKmMν···νK！，所以∧π（p）- h（p）|≤ δ、 p∈ .使用公式ZKYI=1psi-1idλ（p）=QKi=1Γ（si）Γ（PKi=1si），s，sK>0，并且关系Γ（s+1）=sΓ（s），我们得到rpkQKi=1psi-1ih（p）dλ（p）RQKi=1psi-1ih（p）dλ（p）=m+PKi=1siPνcν（νk+sk）QKi=1Γ（νi+si）pνcνQKi=1Γ（νi+si）。由于每个ν的cν>0，因此（13）skm+PKi=1si≤Rpk公司QKi=1psi-1ih（p）dλ（p）RQKi=1psi-1ih（p）dλ（p）≤m+skm+PKi=1si。对于所有p∈ , h（p）≥ π，so | π（p）- h（p）|≤ δ≤δИπh（p）。因此1.-δИπh（p）≤ ~π（p）≤1+δИπh（p）。从这些不等式出发，得到（12）和（13）对于n，n，…，的that，nK公司∈NwithPKi=1ni=n，RpkQKi=1pniiπ（p）dλ（p）RQKi=1pniiπ（p）dλ（p）=RpkQKi=1pni+αi-1i∧π（p）dλ（p）RQKi=1pni+αi-1i∧π（p）dλ（p）≤1+δИπ1-δИπRpkQKi=1pni+αi-1ih（p）dλ（p）RQKi=1pni+αi-1ih（p）dλ（p）≤ （1+）m+nk+αkm+n+PKi=1αi。类似地，使用不等式1/（1+）>1- ，我们得到了RPKQKi=1pniiπ（p）dλ（p）RQKi=1pniiπ（p）dλ（p）≥1.-δИπ1+δИπRpkQKi=1pni+αi-1ih（p）dλ（p）RQKi=1pni+αi-1ih（p）dλ（p）≥ （1）- ）nk+αkm+n+PKi=1αi。断言后面是γ=m+PKi=1αi。备注3′。

利用Bernstein多项式逼近度的结果，可以计算命题1中常数γ的显式值。例如，如果K=2且φ（p）=π（p，1- p） 在[0，1]上有一个连续导数，可以应用洛伦兹（1986）中的定理1.6.1来证明（3）在γ=α+α时成立+1+最大{|φ′（p）|：0≤ P≤ 1}最小值{φ（p）：0≤ P≤ 1}.如果K≥ 2和∧π与上的多项式重合, 然后，根据Handelman（1988）的结果，π可以写为Dirichlet分布密度的有限混合，Power定理3和Reznick（2001）给出了支持混合分布的可计算上界。因此，（4）中的不等式适用于可计算常数a和a。引理3。设Sn为二元随机变量，参数为n和p。Let1<c<2，d>0。然后Snn公司≥ cp+dn≤ e（1-c） d，PSnn公司≤个人计算机-dn≤ e（1-c） d.证明。根据切尔诺夫不等式，PSnn公司≥ cp+dn≤ 输入>0he-t（cp+dn）（1- p+pet）英寸≤ e（1-c） d[ψ（p）]n，其中ψ（s）=e（1-c） cs（1- 秒+秒-1） 。对于0≤ s≤ 1，ψ′（s）e（1-c） cs=ec-1.-1.- （c）- 1） c类- s（c- 1）c（ec-1.-（1）≤ 欧共体-1.- 1.- （c）- 1） c.设置φ（u）=eu-1.-1.-（u）-1） 函数φ′是凸的，φ′（1）=0，φ′（2）<0。因此，φ′在（1，2）上为负，因此φ（c）<φ（1）=0。现在，ψ在[0，1]上递减，所以ψ（p）≤ ψ（0）=1。这证明了第一种说法。第二项权利要求的顶部类似。定理1的证明。设0<<1。选择c∈ （1，2）和δ>0，因此1- δc>1-，（1+δ）c<1+。设d>0，使引理3中的界满足e（1-c） d<。根据命题1，存在γ>0，因此对于每n∈ N、 （1）- δ） Xnkn+γ≤ ^pk（Xn）≤ （1+δ）Xnk+γn，k=1，K、 设N大到（1- δ）C-dN1+γ/N>1- ，（1+δ）d+γN<。用npk固定k、PK和n≥ N

设置A={nXnk<cpk+dn}和B={nXnk>pkc-dn}。在A上，^pk（Xn）pk≤ （1+δ）Xnk+γnpk≤ （1+δ）c+d+γnpk≤ （1+δ）c+d+γN< 1+和B上，^pk（Xn）pk≥ （1）- δ） Xnknpknn+γ≥ （1）- δ）C-达丰利1+γ/牛顿≥ （1）- δ）C-dN1+γ/N>1- 。引理3，Pp（A∩ （B）≥ 1.- Pp（Ac）- Pp（Bc）≥ 1.-。备注3′。在定理1的证明中，可以选择c=1+、δ=和D=3-2、如果选择先验衰减常数γ>0，使得（3）中的不等式保持不变，而被取代，则随后对上述证明进行了小的变化，即定理1的结论在N=8时保持不变-3+3γ-示例1的证明使用了以下p.引理4的Bayes估计的下界f。设π（p）=e-1/p，0<p≤ 1、nRPν+1（1- p） n个-νπ（p）dpRpν（1- p） n个-νπ（p）dp≥√1.∨ 对于每n∈ Nandν=0，n、 证明。设U为密度与pν（1）成比例的随机变量-p） n个-νπ（p），设V为密度与（1）成比例的随机变量-p） nπ（p），0＜p＜1。那么U在似然比顺序上大于V，因为pν（1-p） n个-νπ（p）/[（1-p） nπ（p）]=（p/（1）-p） ）ν在p中增加。这意味着E（U）≥ E（V），即Rpν+1（1- p） n个-νπ（p）dpRpν（1- p） n个-νπ（p）dp≥Rp（1- p） nπ（p）dpR（1- p） nπ（p）dp，见Lehmann和Romano（2005），第70页。因此，对于ν=0，这就足够了。设fn（p）=cn（1- p） nπ（p），其中cn=[R（1- p） nπ（p）dp]-1、我们有f′n（p）=cne-1/p（1- p） n个-1p（1- P- np），表明Fn在[0,2an]上增加，其中an=1/（4）√1.∨ n） 。HenceRanfn（p）dp1-Ranfn（p）dp=Ranfn（p）dpRanfn（p）dp≥R2ananfn（p）dpanfn（an）≥（2an- an）f（an）anfn（an）=1。ThusRanfn（p）dp≥, 因此zpfn（p）dp≥Zanpfn（p）dp≥ ANZANN（p）dp≥an=√1.∨ NExamp l e 1的证明。让N∈ N、 对于N>未定义p（N）∈  按p（n）=Nn--δ。引理4，^p（Xn）- 2p（n）≥ N-(- 2Nn-δ） ，因此，对于n非常大的，Pp（n）（| p（Xn）- p（n）|>p（n））=1。示例e 2的证明。假设π满足条件P（α），α∈ （0，∞)K