- 1次围观
近似贝叶斯计算序贯蒙特卡洛(ABC-SMC)通过扰动核传播粒子。采用标准正态核时,随着参数维数增加,算法性能会急剧下降,这通常被归因于维数本身。我们表明,性能退化实际上取决于汇总统计量的质量,维数仅通过另一种较温和的机制发挥作用;只有两种机制共同作用,正态核才会失效。第一种机制是协方差过度膨胀:根据粒子云估计得到的核协方差会高于真实后验协方差,其膨胀倍数由汇总统计量造成的信息损失决定。我们针对具有充分统计量的高斯模型,推导出该膨胀倍数的闭式表达式,并表明无论维数如何,该倍数都保持适中;随着容差收紧,它会趋近于基准值。实践中观察到的极端数值(约为 10³)反映的是汇总统计量不足,而非维数过高。第二种机制是扰动过度集中:随着维数增加,标准化正态步长会集中于 1 附近,因此每个提议都会以相同倍数过冲。单独来看,两种机制都不会造成问题;只有二者结合才会使正态核失效。柯西核(自由度为 1 的多元 t 分布)能够消除这种集中现象,在任意协方差膨胀下维持正的接受率,同时预期平方跳跃距离的最坏情况代价不超过 1.87 倍。在 Metropolis–Hastings 框架下,我们推导了两种核的接受率闭式表达式,说明了柯西核在这一极限情形下的优势。我们还针对五个问题开展了一系列完整的 ABC-SMC 计算实验,参数维数均为 d = 12,其中包括一个层次基因表达模型;实验结果表明了变态另类Cauchy 核在相同的模拟预算下,可将切片 Wasserstein 距离降低至参考后验对应值的 1/50。由于对于需要采用 ABC 的模型而言,摘要统计量通常并不充分,因此过度离散是结构性问题;在高维问题中,Cauchy 扰动核是更合适的默认选择。
过度膨胀与过度集中:为什么柯西扰动核才是 ABC-SMC 的正确选择 | bioRxiv
跳至主要内容
首页
关于
投稿
提醒 / RSS
搜索关键词
高级搜索
最新结果
过度膨胀与过度集中:为什么柯西扰动核才是 ABC-SMC 的正确选择
查看 ORCID 个人资料
Marc
Sturrock
,
Vahid
Shahrezaei
doi:
https://doi.org/10.64898/2026.06.24.734205
Marc Sturrock
1
爱尔兰皇家外科医学院生理学与医学物理系
,爱尔兰都柏林
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本网站搜索此作者
Marc Sturrock 的 ORCID 记录
通讯请联系:
marcsturrock{at}rcsi.ie
Vahid Shahrezaei
2
伦敦帝国理工学院数学系
,伦敦,SW7 2AZ
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本网站搜索此作者
摘要
全文
信息/历史
指标
PDF 预览
摘要
近似贝叶斯计算序贯蒙特卡洛(ABC-SMC)使用扰动核传播粒子;采用标准正态核时,随着参数维数增加,算法性能会急剧下降,这种失效通常被归因于维数本身。我们发现,真正决定其表现的是摘要统计量的质量,维数仅通过一种独立且影响较温和的机制发挥作用;只有这两种因素共同作用,才会导致正态核失效。第一个因素是协方差过度膨胀:根据粒子云估计得到的核协方差,会超过真实后验协方差,其膨胀倍数取决于摘要统计量中的信息损失。我们针对具有充分统计量的高斯模型,推导出该过度缩放因子的闭式表达式,并证明该因子在任意维数下都保持适度,其值会逐渐减小。
随着容差收紧,接受率逐渐回归其基线值;实践中观察到的极端数值(约为 \(10^3\) 量级)是摘要统计量不足的表现,而非维度所致。第二个因素是扰动的过度集中:随着维度增长,标准化的正态步长会集中在 1 附近,因此每个提议都会以相同倍数过度移动。单独存在其中任一因素都不会造成问题;只有两者结合才会使正态核失效。柯西核(自由度为 1 的多元 \(t\) 分布)能够消除这种集中现象,即使步长任意过度放大,也能维持正的接受率,且期望平方跳跃距离的最坏情况代价有界,为 1.87 倍。在 Metropolis–Hastings 框架下,我们推导了两种核的闭式接受率,说明在这一极限下柯西核具有优势。针对 \(d=12\) 时的五个问题(包括一个层次基因表达模型)开展的一系列完整 ABC-SMC 计算实验表明,在模拟预算相同的情况下,柯西核可使相对于参考后验的切片 Wasserstein 距离最多降低 50 倍。由于对于需要使用 ABC 的模型,摘要统计量通常并不充分,因此过度膨胀是结构性问题;对于更高维问题,柯西扰动核应当作为默认选择。
1 引言
近似贝叶斯计算(ABC)通过以正向模拟和摘要统计量比较替代似然计算,使得对似然难以处理的模型进行后验推断成为可能(Sisson et al., 2007;Toni et al., 2009;Beaumont et al., 2009)。ABC 的序贯蒙特卡洛(SMC)变体会使用扰动核提出新的参数值,并使加权粒子群逐步通过一系列不断降低的容差阈值……
迭代。在本文中,为避免两者同时出现时产生歧义,我们用“正态(Normal)”指代扰动核,用“高斯(Gaussian)”指代目标模型。当参数空间的维度(\(d\))超过约 5 时,正态扰动核的性能会迅速下降:接受率骤降,算法停滞,ABC 后验分布也无法集中于真实后验分布。将正态核替换为柯西核(自由度为 1 的多元 \(t\) 分布),可以恢复大部分损失的性能。人们曾将柯西核的优势归因于“高维性”,但这种归因混淆了两种截然不同的机制,而这两种机制恰好都会随维度增加而加剧。
ABC-SMC 中关于核函数选择的研究,主要关注自适应性,即从粒子群中学习核函数的尺度和方向,而非核函数的形状,也就是其尾部行为。
Beaumont 等人(2009)提出了如今已成为标准做法的方法:将核协方差设为加权经验协方差的两倍。
Filippi 等人(2013)基于最小化连续两代 ABC 目标分布之间的 Kullback–Leibler 散度,推导出最优性准则,但研究范围仅限于高斯核族及其局部自适应变体。
Prangle 等人(2025)近期对 ABC-SMC 核函数进行了广泛的实证比较,并推荐采用单命中核与高斯混合提议分布。然而,他们考察的核函数仍全部基于高斯分布,基准问题的维度也较低(其中最大的示例为 \(d=5\)),且没有提供其观察到的性能差异背后的机制解释。他们未考察重尾扰动;而无论高斯混合分布多么灵活,其尾部仍为高斯型,因此其中每个……
随着 \(d\) 增大,各分量仍会集中到一个薄壳上。当核协方差存在结构性误估时,高斯形状是否仍然合适,这一问题尚未得到探讨。
MCMC 文献为高斯提议分布的脆弱性提供了理论依据。Roberts 等人(1997)推导出著名的高斯随机游走 Metropolis 算法最优接受率 0.234,并指出提议方差必须按 \(O(d^{-1})\) 缩放,因此算法性能对尺度参数极为敏感。Roberts 和 Rosenthal(2001)将最优缩放理论推广至多种 Metropolis–Hastings 算法;Sherlock 和 Roberts(2009)进一步将分析扩展到椭圆对称目标分布,表明高斯扰动的概率质量会集中在一个薄的超球壳上,其半径随……增长。Sherlock 等人(2010)综合了这些结果,并指出其实际影响:当提议尺度哪怕只有适度偏差时,所有提议移动都可能落在目标区域之外,导致马尔可夫链停滞。在 ABC-SMC 中,提议尺度从来无法被准确设定;它是根据带噪声的加权粒子云估计得到的,因此这种脆弱性并非调参失误,而是结构性问题。
全球优化领域则从另一角度独立发现了重尾分布的优势。Yao 等人(1999)表明,在进化规划中以柯西变异取代高斯变异,能显著提升算法在多峰基准函数上的表现,因为柯西分布的长尾允许偶尔进行大幅跳跃,从而逃离局部最优。更早之前,Szu 和 Hartley(1987)证明,在模拟退火中采用柯西分布的状态扰动,可以使用按反比例线性递减的冷却方案 \(T(k) \propto 1/(1+k)\),
其速度呈指数级快于高斯扰动所需的反对数衰减日程。这一结果在 ABC-SMC 中有直接对应:柯西核允许更大幅度地降低容差,而不会导致粒子群冻结,因为其可变步长能够确保即使核协方差过度膨胀,仍有一定比例的提议点靠近当前位置。莱维飞行文献对这一基本原理进行了形式化阐述:在稀疏搜索环境中,幂律指数为 α = 1(即柯西分布)的重尾步长分布能够使发现新目标的速率达到最优(Viswanathan et al., 1999)。高维 ABC 中,接受区域仅占先验体积中趋近于零的一小部分,正是这样一种稀疏环境。
伴随高维 SMC 出现的权重退化问题,在粒子滤波文献中已有充分研究;我们在第 3.5 节中针对这两种扰动核对该问题进行了直接考察。Snyder et al. (2008) 表明,为避免滤波器崩溃所需的集合规模,会随对数似然增量方差的增大而呈指数级增长;Bengtsson et al. (2008) 则证明存在一个明确的相变:当粒子数低于临界值时,滤波器会完全崩溃。Del Moral et al. (2006) 分析了一般 SMC 采样器中的权重方差,并确定了自适应提议能够控制退化的条件。在 ABC-SMC 中,由退化粒子云估计得到的核协方差会直接反馈到提议分布中,从而形成恶性循环:协方差过度膨胀 → 高度集中的高斯壳层错过目标 → 权重崩溃 → 协方差估计进一步恶化。本文将协方差过度膨胀和步长集中识别为这一循环的两个组成部分,并且
表明,柯西核会通过消除集中步骤而使其失效。具体而言,我们将两种相互独立的失效模式区分开来。第一种是协方差过度膨胀:由于汇总统计量丢失了信息,核协方差会大幅超过真实后验协方差。在采用充分统计量的高斯模型中,过度膨胀程度在任意维度下都较为有限;实践中观察到的极端数值源于汇总统计量不充分。第二种是扰动过度集中:当维度 \(d\) 较高时,归一化正态步长 \(\chi^2(d)/d\) 会集中于 1 附近,其标准差为 \(\sqrt{2/d}\),因此每个提议都会以完全相同的因子超出目标范围。没有集中现象的过度膨胀并无害处(当 \(d=3\)、\(N=1{,}600\) 时,两种核的表现完全相同);没有过度膨胀的集中现象也无害处(使用充分统计量时,正态核表现良好)。正态核失效需要这两个因素同时存在;去除任意一个因素都能避免其失效。不同于假设协方差估计准确的既有核最优性研究,我们表明,结构性协方差过度膨胀与高斯步长集中效应的相互作用,才是 ABC-SMC 在中等维度下失效的根本原因。
第 2 节介绍测试问题和评估指标。第 3 节给出结果:通过实证记录两种失效模式,解析推导过度膨胀比,证明在任意过度缩放下柯西核的接受率仍保持为正,验证理论预测,并在完整的 ABC-SMC 中比较两种核。第 4 节讨论其影响,并论证将柯西核作为 ABC-SMC 的默认扰动核。
2 方法
我们使用五个测试问题,以涵盖多种后验几何结构和汇总统计量】【。
质量从精确充分到严重的信息损失不等。所有问题均由维度 \(d\) 参数化,并在 \(d=3\) 和 \(d=12\) 时进行测试。
2.1 高斯问题
最简单的问题为:对 \(i=1,\ldots,n\),\(X_i\sim N(\theta,I_d)\),其中 \(n=50\),先验在 \([-10,10]^d\) 上为平坦先验。真实后验为。摘要统计量是充分的,因此该问题可作为基线,在此情形下过度膨胀应当最小。参考后验样本通过解析方式抽取。
2.2 Neal 漏斗
该问题是 Neal(2003)漏斗构造的一种 ABC 变体。似然通过异方差噪声模型,将标量参数 \(\theta_1\) 与 \((d-1)\) 维位置参数 \(\theta_{2:d}\) 联系起来:其中 \(n=100\)。先验均为均匀分布:\(\theta_1\sim U(-9,9)\),且对 \(j=2,\ldots,d\),\(\theta_j\sim U(-15,15)\),与该目标通常采用的正态先验的 \(\pm3\sigma\) 范围相匹配。尽管先验是平坦的,后验仍继承了似然所带来的经典漏斗几何结构:\(\theta_{2:d}\) 的条件分布宽度通过 \(\exp(\theta_1/2)\) 噪声尺度随 \(\theta_1\) 变化,幅度可达数个数量级。摘要统计量为各分量的样本均值和方差,ABC 距离为。
该后验在解析上可处理。给定 \(\theta_1\) 后,其余参数相互独立,且服从均值和方差已知的高斯分布(具体取决于 \(\theta_1\) 和数据),因此我们可以在网格上计算 \(\theta_1\) 的边缘后验,并精确抽取条件分布样本。参考样本和真实后验协方差由 \(10^5\) 个解析样本计算得到。
2.3 香蕉问题
香蕉问题包含 \(d+1\) 个参数 \(\theta=(\theta_1,\ldots,\theta_{d+1})\):前 \(d\) 个参数是 Rosenbrock 函数弯曲脊线上的位置 \(x=(\theta_1,\ldots,\theta_d)\),最后一个参数 \(\theta_{d+1}\) 是对数噪声水平。数据集由 Rosenbrock 曲面的 \(n=50\) 个标量测量值组成,每个测量值都受到扰动】【。
彼此独立地受到异方差高斯噪声的扰动:对
\(k=1,\ldots,n\),等价地,
\(Y_k\sim N(f(x),\sigma(x)^2)\)。因此,位置 \(x\) 既通过信号 \(f(x)\) 起作用,也通过噪声尺度起作用;而 \(\theta_{d+1}\) 仅控制总体噪声水平。
汇总统计量为模拟输出在 19 个等间距分位点上的分位数,分位点范围从第 5 百分位到第 95 百分位。后验分布集中在一条狭窄的弯曲脊线上,其几何形状无法由高斯协方差充分刻画,因此这是协方差方法面临的最坏情形。参考后验样本由 No-U-Turn Sampler(NUTS;Hoffman and Gelman,2014)获得,预热后抽取 \(10^5\) 个样本。
2.4 Shell
Shell 问题包含 \(d\) 个参数,这些参数受约束而位于半径 \(R=3\) 的 \(\mathbb{R}^d\) 中某个超球面附近。观测值为带噪声的投影半径:数据集由 \(n=100\) 个值组成,\(Y_k=\|\theta+\sigma_w\varepsilon_k\|\),其中 \(\varepsilon_k\) 是参数向量 \(\theta\) 的标准高斯扰动,\(\sigma_w=0.3\) 控制其尺度。
汇总统计量为投影半径的均值和标准差。后验分布呈环状,在原点(先验的众数)处密度为零,因此可用于检验非凸后验几何形状。参考后验样本由 NUTS 获得,预热后抽取 \(10^5\) 个样本。
2.5 基因表达
前述测试问题均为合成问题。为展示 Cauchy 核在生物学相关问题上的优势,我们纳入一个受单细胞 RNA 测序(scRNA-seq)启发的分层基因表达模型。
基因表达的 telegraph 模型描述了一个在非活跃状态与活跃状态之间切换的基因,且只有在活跃状态下才会产生 mRNA(Peccoud and Ycart,1995;Shahrezaei and Swain,2008):
在脉冲极限(\(k_{\mathrm{off}}\gg k_{\mathrm{on}}\)、\(s\gg k_{\mathrm{off}}\))下,转录以脉冲形式发生
以几何分布的大小分批产生,稳态 mRNA 数量服从负二项分布,其均值为
\[
\mu = \frac{k_{\mathrm{on}}s}{k_{\mathrm{off}}\delta}
\]
离散度为
\[
\phi = \frac{k_{\mathrm{on}}}{\delta}.
\]
我们采用分层 Gamma-Poisson 建模形式,其中 \(d\) 个基因共享一个离散度参数 \(\phi\),而各基因的均值表达水平则从对数正态总体分布中抽取:
其中,\(\theta\) 表示全局对数均值表达水平,\(\tau\) 控制基因特异性均值的离散程度,\(\phi\) 表示共享的过度离散参数。这种结构是单细胞 RNA 测序(scRNA-seq)分析中的标准做法:BASiCS(Vallejos et al., 2015)、scran(Lun et al., 2016)和 DESeq2(Love et al., 2014)等工具均采用分层收缩方法,使基因特异性参数向共享的总体分布收缩。数据由 \(n=100\) 个细胞和 \(d\) 个基因的单次快照构成。Grün et al.(2014)通过实证验证了负二项计数模型作为 scRNA-seq 噪声模型的适用性;Bengtsson et al.(2005)则通过实证研究表明,单细胞 mRNA 的基因特异性表达水平服从对数正态分布。
参数向量为 \((\theta, \tau, \phi, \varepsilon_1, \ldots, \varepsilon_d)\),共包含 \(d+3\) 个参数。汇总统计量为各基因的解析均值和方差(共 \(2d\) 个统计量):
ABC 距离通过比较这些解析矩与观测样本矩计算:
其中,\(s_{\mu,i}\) 和 \(s_{v,i}\) 分别为各分量的尺度。由于这些矩是参数的确定性函数,每次评估 ABC 距离都可即时完成,无需进行前向模拟。
先验分布均为均匀分布,这也是 ABC 应用中的标准做法:
\[
\theta \sim U(-4, 8),\quad
\tau \sim U(0.001, 10),\quad
\phi \sim U(0.1, 50),\quad
\varepsilon_i \sim U(-3, 3).
\]
参考后验样本通过 NUTS 获得,使用完整的负二项分布,预热后抽样数为 \(2.4 \times 10^4\)。
在所有 \(d \times n\) 个计数上计算似然(适用于所有参数)。
2.6 评估指标
对于每个问题,利用参考样本(解析样本或 NUTS 样本)估计真实后验协方差 \(\Sigma\)。
后验质量通过分类器双样本检验(C2ST;Lopez-Paz and Oquab, 2017)的三种变体进行评估。每种检验均使用经 5 折交叉验证的神经网络分类器,对重采样得到的 ABC 后验样本与参考样本进行比较。联合 C2ST 在全部 \(d\) 个维度上同时训练分类器,是检验效能最高的一种。边际 C2ST(mC2ST)对 \(d\) 个独立的一维分类器取平均,可检测各边际上的差异,但无法捕捉相关结构。成对 C2ST(pC2ST)对所有维度对上的分类器取平均,能够捕捉成对相关性,同时避免完整联合检验所面临的维数灾难。对于这三种检验,结果为 0.5 表示 ABC 样本与参考样本无法区分,结果为 1.0 则表示二者完全可分。然而,在大多数 \(d = 12\) 的情形下,联合 C2ST 的结果会饱和于 1.0,因此在较高维度下区分不同方法的能力有限。
为补充 C2ST 的各类变体,我们报告切片 Wasserstein 距离(SWD;Bonneel et al., 2015)。这是一种分布间的适当度量,不会发生饱和。SWD 将两组样本投影到 \(L = 1{,}000\) 个随机单位向量 \(\theta \in S^{d-1}\) 上,沿每个投影方向计算一维 Wasserstein-1 距离(通过对样本排序实现),然后取平均:
值越低,表示与参考后验的一致性越高;当且仅当两个分布完全相同时,SWD = 0。与 C2ST 不同,SWD 提供连续距离,能够良好适用于中等维度,并且在基于分类器的检验饱和时仍保有动态范围。
我们还报告有效样本量
重要性权重的有效样本量(ESS)是诊断权重退化的标准指标。对于最终一轮 ABC-SMC 中的权重 \(w_1,\ldots,w_N\),当权重均匀时,ESS 等于 \(N\);当少数粒子占据主导时,ESS 则趋近于 1。我们将其报告为 ESS/\(N\) 的比例,取值范围为 \((0,1]\)。
除非另有说明,所有 ABC-SMC 运行均使用 \(N=4{,}000\) 个粒子,并采用 Toni et al. (2009) 的标准方案:每轮将核协方差设为加权经验协方差的两倍,并在每一步将容差缩减至距离的中位数。
3 结果
3.1 ABC-SMC 产生过度膨胀的核协方差
为量化扰动核所用尺度矩阵(当前粒子云的加权经验协方差的两倍)与真实后验协方差 \(\Sigma\) 之间的不匹配,我们定义平均过度缩放比:
其中,\(\lambda_i(\cdot)\) 表示第 \(i\) 个特征值,因此该指标是核尺度矩阵各特征值相对于后验的均值。正态核和柯西核均以同一个尺度矩阵参数化(对正态核而言,它是协方差;对不存在协方差的重尾柯西核而言,它是尺度矩阵),因此该指标仅取决于这两个矩阵;无论使用哪种核,其计算方式都相同,且与核的尾部形状无关。该函数是对两个正定矩阵进行尺度不变比较的指标,也是协方差估计中 Stein 损失的迹项(James and Stein, 1961;Dey and Srinivasan, 1985);将其除以维数 \(d\) 即为归一化结果。
当该指标为 1 时,核与后验匹配;当其为 2 时,核在各个方向上均宽两倍(这是标准的 2 倍协方差方案所能达到的最小值)。真实后验协方差 \(\Sigma\) 根据参考样本估计:对于 Gaussian 和 Funnel,使用解析抽样;对于 NUTS,使用……
输出(香蕉,Shell)。
我们在高斯模型(充分统计量)和 Funnel 模型(不充分摘要统计量)上运行了标准 ABC-SMC,取 \(d \in \{3, 7, 12\}\),粒子数 \(N = 4{,}000\),模拟预算为 \(10^8\),且 \(p_{\mathrm{acc,min}} = 10^{-4}\),并对三个独立重复实验的轨迹取平均。
图 1 对比了这两个问题。在高斯模型(左图)中,三条轨迹均逐渐趋近于 2。对于 \(d = 3\) 和 \(d = 7\),分别在 26 次和 40 次迭代后收敛至预设因子,这证实了当摘要保留全部信息时,可以消除过度膨胀。对于 \(d = 12\),算法在 53 次迭代后达到该值,但仍在下降。在 Funnel 模型(右图)中,所有轨迹都趋向于 2,但收敛速度显著更慢。对于 \(d = 3\),该值在 29 次迭代后达到 2;对于 \(d = 7\),经过 43 次迭代后仍为 5;对于 \(d = 12\),尽管已耗尽全部 \(10^8\) 次模拟预算,经过 56 次迭代后该值仍高于 150。过度膨胀并非永久存在,但不充分的摘要统计量会使收敛变得极其缓慢,尤其是在较高维度下。
下载图像
在新标签页中打开
图 1:使用正态扰动核时,各次 ABC-SMC 迭代中的平均过度缩放比(\(N = 4{,}000\),\(10^8\) 次模拟,\(p_{\mathrm{acc,min}} = 10^{-4}\),取 3 次重复实验的平均值)。左:具有充分统计量的高斯模型;所有维度均收敛至 2(虚线)。右:摘要统计量不充分的 Funnel 模型;所有轨迹均趋向于 2,但随着维度增加,收敛速度变得极其缓慢。
这种过度缩放具有结构性:它是 ABC-SMC 构造本身的性质,而非调参失误或有限样本造成的假象。在每次迭代中,核协方差被设为加权经验协方差的两倍。
粒子群体,因此,标准设定本身已将某个基线值设为……,即粒子群体与目标分布完全匹配时达到的数值。然而,粒子群体近似的是 ABC 后验分布
\[
\pi_\epsilon(\theta) \propto \pi(\theta)\Pr(\rho < \epsilon_t \mid \theta),
\]
只要 \(\epsilon_t > 0\),该分布就比真实后验更宽。核协方差会继承这种额外的宽度,因此在实际中,……,其与 2 的差距取决于当前容差 \(\epsilon_t\) 距离零有多远。随着 \(\epsilon_t \to 0\),这一差距逐渐消失,……从上方趋近;趋近速度取决于具体问题:当摘要统计量信息丰富且 \(d\) 较小时,速度较快(图 1,左图);否则则会慢得难以处理(右图)。
第 3.3 节分析了这一差距的大小由什么决定;此处我们只证明,它不会随粒子数增加而缩小。
人们可能会认为,增加粒子数可以减轻过度缩放现象。表 1 表明事实并非如此。我们在 \(d=12\) 的 Funnel 问题上使用 Normal 核,将 \(N\) 从 500 增至 8,000。各粒子数下,最终的……均稳定在约 870,变化幅度不到 4%。过度缩放并非样本量造成的假象,而是该维度下算法的一种收敛性质。
查看此表:
在线查看
弹出查看
下载 PowerPoint
表 1:不同粒子数下的最终过度缩放比(Funnel,\(d=12\),Normal 核,\(p_{\mathrm{acc,min}}=0.01\),模拟预算为 \(10^8\),每行重复 3 次;报告值为 3 次重复的均值)。随着 \(N\) 从 500 增至 8,000,……并未下降,表明过度缩放是结构性问题,而非样本量受限所致。ESS/\(N\):最终迭代时有效样本量占粒子数的比例。
3.2 高维下 Normal 扰动核过度集中
第二个因素是扰动过度集中:当 \(d\) 较高时,每个 Normal 提议都会落在相同的……
距当前点的马氏距离。
协方差为 \(k\Sigma\) 的正态扰动,其马氏步长平方服从 \(k\cdot\chi^2(d)\)。归一化步长 \(\chi^2(d)/d\) 的均值为 1,标准差为:当 \(d=3\) 时为 0.82;当 \(d=12\) 时为 0.41;当 \(d=100\) 时为 0.14。步长大小集中在平方半径为 \(kd\) 的薄壳上,并且随着 \(d\) 增大,壳层会变得更薄。
多元柯西(\(t_1\))扰动是将正态扰动乘以一个随机因子得到的,其中 \(V\sim\chi^2(1)\),且每次提议均独立抽取。如果 \(V\) 是常数,这只会对正态分布进行缩放,集中问题仍然存在。但 \(V\) 是随机的,其变异系数与 \(d\) 无关:当 \(V\) 较大时,步长远短于正态扰动,可能落入接受区域;当 \(V\) 接近零时,步长则会超出目标范围数个数量级。
图 2 展示了两种核在三个维度(\(d=3,12,20\))以及三种核协方差过度膨胀水平下的物理扰动距离 \(\|\epsilon\|\)。从上到下看,维度增加会使两种分布都向右移动,并使正态分布收窄为尖峰:当 \(d\) 较大时,所有正态扰动的距离几乎相同,没有足够短、因而可能有用的步长。柯西分布同样受维度影响(随着 \(d\) 增大,其在零附近的概率质量也会减少),但在每个 \(d\) 下都比正态分布具有更宽的分布范围。从左到右看,过度膨胀程度增加会使两种分布都进一步远离原点;柯西分布的伸展并不对称,其左尾比正态分布更长。这种不对称性正是其优势所在:即使核协方差相对于后验分布过大,仍有一部分柯西提议的步长足够短,能够落入接受区域。
下载图像
在新标签页中打开
图 2:
从 200,000 次随机抽样得到的物理扰动距离 ∥ε∥,其中正态核为蓝色,柯西核为红色。各行对应:d = 3(上)、d = 12(中)、d = 20(下)。各列对应核协方差的过度膨胀程度。维数增加会使两种分布都向右移动,并使正态分布收窄为尖峰。过度膨胀程度增加会拉伸两种分布,但柯西分布仍保留更长的左尾。所有图的坐标轴尺度相同。
这些效应仅由提议分布的性质决定,不依赖于目标分布、摘要统计量或 ABC 容差。维数增大会使两种核都无法产生短扰动;过度膨胀则决定了扰动需要短到何种程度才能被接受。柯西分布的优势在两种因素同时存在时才会显现:它无法消除步长的维数下限,但能够产生比正态分布短的扰动,短多少取决于过度膨胀程度。
3.3 过度膨胀由摘要统计量的质量驱动,而不一定由维数驱动
考虑一个 d 维高斯模型:
对于 i = 1, …, n,Xᵢ ∼ N(θ, σ²I_d),其中 σ² 已知,且 θ 的先验分布是平坦的。充分统计量为 ,真实后验分布为 θ | S_obs ∼ N(S_obs, (σ²/n)I_d)。
ABC-SMC 使用距离 ρ = ∥S_sim − S_obs∥,并在 ρ < ϵ 时接受。由于 S_sim | θ ∼ N(θ, (σ²/n)I_d),参数值 θ 处的接受概率为
其中, 表示一个具有 d 个自由度、非中心参数为 λ 的非中心卡方随机变量。
定义归一化容差 η = ϵ/σ_post,其中 是每个方向上的后验标准差。在归一化坐标 u = (θ − S_obs)/σ_post 下,真实后验的每个方向方差均为 1,而 ABC 后验的径向剖面为
其均值
过度膨胀比为
其中,因子 2 是核协方差的标准设定。
公式(12)仅取决于 η 和 d。当容差远大于后验尺度时,在 r < η 的范围内,g(r) ≈ 1,积分因此化简为均匀球体的矩,得到
图 3 展示了 θ = θ_true 时的接受率随归一化容差变化的情况;该结果通过对 d ∈ {3, 7, 12} 的公式(12)进行数值积分得到。虚线标出 。在此处,接受率为 55–61%,而 介于 3.2 至 3.7 之间(表 2)。即使在 , 也仅为 122–173。若要达到 Funnel 中观测到的经验值 ,归一化容差必须达到 ,远高于 。
查看此表:
内嵌查看
弹出查看
下载 PowerPoint
表 2:
选定归一化容差下高斯模型中的过度膨胀及接受率(括号内)。无论维度如何, 均介于 3 和 4 之间。
下载图
在新标签页中打开
图 3:
具有充分统计量的高斯模型中,θ = θ_true 处的 ABC 接受概率,随容差 η = ϵ/σ_post 变化,并按 归一化。虚线标出 ,此时 (表 2)。按 归一化后,曲线大致重合,表明接受率主要取决于容差相对于后验尺度的大小,而维度仅产生较小的残余影响。代表性数值见表 2。
使用充分统计量时,随着 ϵ → 0,ABC 后验收敛于真实后验,并且 在任意维度下都收敛于 2(即协方差设定因子)。实践中观察到的极端过度膨胀需要统计量不充分:也就是说,ABC 后验与真实后验之间存在差距,且该差距不会随着容差减小而消失。
为确认驱动过度膨胀的是汇总统计量的质量而非维度,我们进行了
在 \(d=3\) 维高斯模型上使用 ABC-SMC,并刻意降低摘要统计量的质量。模型为 \(X_i \sim N(\theta, I_3)\),观测数 \(n=50\),因此真实后验在各方向上的方差为 \(1/50=0.02\)。我们测试了五种摘要统计量配置,从充分到严重不充分;每种配置均使用 \(N=4{,}000\) 个粒子,并进行 5 次重复实验。
表 3 中的结果证实了分析预测。使用充分统计量时,……,接近 \(d=\) 时解析值 3.2(差距较小,是因为算法将 \(\eta\) 推到了略低于……的位置)。一旦向该充分统计量添加标准差为 5 的高斯噪声,\(d=3\) 时的……便升至 1,600 以上,使受控退化实验进入与 \(d=12\) 时的 Funnel 相同的区间(……,表 1)。将三维摘要压缩为标量范数后,……,增幅达到 15 倍。通过固定维度、仅改变摘要统计量的质量,该实验隔离出过度膨胀的一个驱动因素。跨问题比较……(表 7)会将这一因素与模型结构混为一谈,因为每个问题必然使用不同的摘要统计量,而且不同模型之间并没有明确定义的“等效”摘要统计量。
查看此表:
内嵌查看
弹出查看
下载 PowerPoint
表 3:
摘要统计量退化时 \(d=3\) 下的过度膨胀(高斯模型,\(N=4{,}000\))。
向充分统计量添加噪声,会使……从 2.4 升至 1,600 以上,而维度保持不变。两种核面对相同的……,并完成相同数量的迭代。
这种区分很重要,因为过度膨胀与过度集中是相互独立的量:前者由摘要统计量的质量决定,后者由维度决定,且二者单独存在时都不会破坏 Normal 核。三个情形可以说明这一点。
当过度膨胀严重但维度较低时,The】【。
正态核仍然有效。在 \(d=3\) 时(表 3),两种核完成的迭代次数相同(七次),最终结果也相同。由于 \(\operatorname{sd}(\chi^2(3)/3)=0.82\),正态步仍保留了足够的变异性,使部分提议能够落在足够接近的位置而被接受,即使典型步长会超出目标步长 1,600 倍。
当维度较高但过度膨胀较轻时,正态核同样有效。具有充分统计量的高斯模型在 \(d=12\) 时(表 2)……。这与最优缩放足够接近,因此薄壳效应无碍:平方半径约为 \(3.7d\) 的壳层,与平方半径约为 \(d\) 的接受区域相距不远;按期望平方跳距衡量,正态核的速度是柯西核的 1.87 倍。
只有当这两个因素同时起作用时,正态核才会失效。在 \(d=12\) 且摘要统计量不充分的 Funnel 问题上(表 1),\(\operatorname{sd}(\chi^2(12)/12)=0.41\),因此正态步被锁定在平方半径约为 \(878\cdot12=10{,}536\) 的壳层上,而接受区域的平方半径约为 12。正态提议不可能向内波动三个数量级;柯西分布中的 \(1/V\) 因子恰好提供了这种波动。
实际中,这两个驱动因素往往会随着维度增加而共同加剧,这也是为什么从表面上看,柯西核的优势似乎由维度驱动。随着 \(d\) 增大,摘要统计量通常会损失更多信息,因为基于矩的统计量数量随 \(d\) 线性增长,而后验分布的复杂度未必如此。Funnel 这类问题具有边缘矩无法捕捉的条件独立结构,并且这种不匹配会随着 \(d\) 增大而加剧。相较之下,过度集中度通过方程(9)随 \(d\) 单调变化;但 \(d\) 与……之间不存在类似的单调关系。
过度膨胀,因为具有充分统计量的高斯模型显示,……几乎不随 \(d\) 变化。
将这两种效应分开,有助于厘清何时确实需要重尾核。需要柯西分布的并非高维本身,而是摘要统计量不充分且维度足以使集中效应显著这一组合。一个摘要统计量较差的三维问题会有较高的……,但使用柯西分布并无收益;一个摘要统计量近乎充分的二十维问题会有较低的……,同样不会从中获益。只有当这两个条件同时成立时,柯西分布才是恰当的默认选择。
3.4 即使任意程度地过度放大,柯西扰动核的接受率仍高于零
在 ABC-SMC 中将正态核换成柯西核,会同时改变两件事:提议分布和重要性权重(因为核密度出现在权重的分母中)。为了隔离提议分布的影响,我们采用 Metropolis–Hastings(MH)框架。在该框架中,核仅用于生成提议,不涉及重要性权重。如果柯西分布的优势在这一更简洁的设定下仍然存在,那么它必然是提议机制本身的性质。
设 \(\Sigma\) 为真实目标分布的协方差,并假设提议分布的协方差为……,其中 \(k>1\)。正态扰动为 \(\Delta_N\sim N(0,k\Sigma)\)。柯西扰动(自由度 \(v=1\) 的多元 \(t\) 分布)可表示为……,其中 \(Z\) 与 \(V\) 相互独立。柯西提议相当于将正态提议乘以一个随机数……,该数在每次提议时抽取一次。平方马氏步长为……
令 \(R_d=\chi^2(d)/d\)。根据大数定律,\(R_d\) 依概率收敛于 \(1\),其方差为 \(2/d\)。正态步长集中在 \(kd\) 附近。每个提议都落在一个很薄的球壳上,其平方马氏半径约为 \(kd\)。当 \(k>1\) 时,这……
该壳层位于典型接受区域之外,且步长没有任何变异性,无法挽救一部分提议。
柯西步长仍满足 \(R_d \to 1\),但 \(V \sim \chi^2(1)\) 的均值为 1、方差为 2,且与 \(d\) 无关。无论 \(d\) 增大到多大,步长分布始终覆盖各种尺度。
命题 1(柯西分布下与维数无关的接受概率)
假设 \(k>c>0\),并考虑提议落在平方马氏半径 \(cd\) 内的概率。当 \(d\to\infty\) 时:
(i) 正态分布:该概率关于 \(d\) 指数级衰减。
(ii) 柯西分布:该概率……
证明
对于 (i),\(c/k<1\) 且 \(R_d\to1\),因此根据克莱默界,\(\Pr(R_d\le c/k)\) 指数级衰减。
对于 (ii),将事件改写为 \(V\ge(k/c)R_d\)。由于……且 \(V\) 与 \(R_d\) 相互独立,由斯卢茨基定理可得……
命题 1 表明,柯西分布在接受区域内赋予了正概率质量。我们还可以精确计算接受率。
考虑一个 \(d\) 维乘积目标分布,以及随机游走提议 \(\theta'=\theta+\delta\)。Roberts 等人(1997)证明,当 \(d\to\infty\) 且提议尺度为……时,对数接受比依据中心极限定理收敛于高斯分布。对于 \(f=\varphi\)(标准高斯密度),当 \(d\to\infty\) 时,对数接受比依分布收敛为:
最优尺度为 \(l^*\approx2.38\),对应的接受率为 \(a^*\approx0.234\)。
由式 (18),正态提议的接受率为……
对于柯西提议,只抽取一次 \(V\sim\chi^2(1)\),有效尺度变为……。在给定 \(V=v\) 的条件下,对数接受比收敛于 \(N(-l^2/(2v),\,l^2/v)\),因此条件接受率为……。对 \(V\) 求平均,可得一个关于 \(\chi^2(1)\) 密度的一维积分。
若提议相对于最优尺度放大了 \(\alpha\) 倍,则将 \(l\) 替换为 \(\alpha l\)。
命题 2(稳健性差距)
在放大 \(\alpha\) 倍(\(\alpha>1\))的情况下,令 \(l=l^*\approx2.38\):
正态分布:\(a_N(\alpha l)=2\Phi(-\alpha l/2)\),其衰减速度为……。
柯西分布:对所有有限的 \(\alpha\),\(a_C(\alpha) \geq 2(1-\Phi(\alpha))\cdot a_N(\ell)\),且为正。
证明
(i) 是标准的高斯尾界。对于 (ii),将式 (20) 中的期望限制在 \(\{V \geq \alpha^2\}\) 上。在此事件下,\( \),因此 \(2\Phi(-\ell_{\mathrm{eff}}/2) \geq a_N(\ell)\),代表性数值见表 4。当 \(\alpha=5\) 时,正态分布的接受率为 \(2.6\times10^{-9}\),而柯西分布的下界为 \(1.3\times10^{-7}\),高出 50 倍。当 \(\alpha=10\) 时,差距超过 \(10^8\)。两者的交叉点约为 \(\alpha\approx1.44\)(\(k\approx2\)):低于该值时,正态分布占优,因为它不会将计算浪费在极端尺度上;高于该值时,柯西分布占优。
查看此表:
内嵌查看
弹出查看
下载 PowerPoint
表 4:
放大 \(\alpha\) 倍时的接受率(\(\ell=2.38\))。
柯西分布列给出命题 2 中的下界;实际值更大。
仅凭接受率无法衡量效率;一个只采取极小步长的核虽然接受率很高,却几乎没有进展。适当的度量是期望平方跳跃距离(ESJD),在扩散极限下为
\(h(\ell)=\ell^2\cdot a(\ell)\)。对于柯西分布,
尽管存在 \(1/V\) 因子,该积分仍然收敛:当 \(V\) 较小时,接受率 \(2\Phi(-\ell/(2\sqrt{V}))\sim \exp(-\ell^2/(8V))\),会使被积函数迅速衰减。优化后得到
(ESJD 为 1.33)以及
(ESJD 为 0.71)。在最优调参下,正态核的速度快 1.87 倍。这正是柯西分布鲁棒性的代价:当提议协方差正确时,柯西核会将计算浪费在过大和过小的步长上。当过度放大倍数 \(\alpha\geq3\) 时,比较结果则会反转,且差距达到多个数量级。
3.5 权重集中的机制
重要性加权序贯蒙特卡洛还面临一个众所周知、且不同于上述两种失效模式的困难:在高维情形下,重要性权重会变得越来越不均衡,少数粒子承担大部分权重,而其余的……
有效样本量相应下降。这种权重集中现象的严重形式即粒子滤波文献中熟知的权重退化(Snyder et al., 2008;Bengtsson et al., 2008),它并非任一核函数的失效,而是重要性加权本身的性质,正态核与柯西核均会受到影响。如下文所示,这一现象对柯西核的影响稍大:使其能够避免扰动过度集中的重尾,也会偶尔将粒子推入新的低密度区域,使其获得异常大的权重。本节将量化这一机制对两种核函数的影响。
在 ABC-SMC 的每次迭代中,赋予新粒子 \(\theta\) 的重要性权重为
其中,\(\pi\) 为先验分布,\(\{\theta_j\}\) 为上一轮迭代中带有归一化权重的粒子,\(K\) 为扰动核。若某个粒子落在远离上一轮粒子群的位置,则分母较小(在该位置贡献核密度的上一轮粒子很少),从而产生较大的权重。柯西核的重尾将粒子推入后验分布新区域时,恰好会出现这种情况。
为量化有多少上一轮粒子对分母作出贡献,我们定义有效贡献者数量(ENC):
对于从 \(\mathcal{N}(0,\Sigma)\) 中抽取的 \(N\) 个粒子,若核协方差为 \(\Sigma_K=c\Sigma\)(其中 \(c\) 为核系数),则粒子间差值 \(\theta_i-\theta_j\sim\mathcal{N}(0,2\Sigma)\)。令 \(r=2/c\),则正态核的期望 ENC 可写为闭式:
采用标准系数 \(c=2\)(\(r=1\))时,结果为 \((3/4)^{d/2}\):其随维度增加而指数衰减,每个维度的衰减率约为 0.86。当 \(d=3\) 时,约有 65% 的粒子作出贡献;当 \(d=12\) 时,仅有 18%。
该推导依赖于高斯卷积 \(E[K(\Delta)]=\mathcal{N}(0;0,\Sigma_K+2\Sigma)\),而这一卷积……
以封闭形式得到 \(E[K]^2\) 和 \(E[K^2]\)。比值 \(E[K]^2/E[K^2]\) 给出式(24),因为归一化常数会相互抵消。正态核密度中的指数项,其系数与 \(d\) 无关。
对于柯西核(多元 \(t_1\) 分布),密度正比于……。指数 \(-(1+d)/2\) 随 \(d\) 增大,使核对距离差异越来越敏感。不存在 ENC 的封闭形式(柯西与高斯的卷积没有初等形式),但一维径向求积可给出精确值(图 4b)。
下载图像
在新标签页中打开
图 4:正态核与柯西核的权重集中情况。(a) 在 \(d=12\) 的 Funnel 分布上运行 ABC-SMC 后,最终迭代中归一化重要性权重的 \(\log_{10}\) 值直方图(\(N=4{,}000\),模拟预算为 \(5\times10^7\))。柯西权重的离散程度更高,反映出少数高权重粒子探索了前一代粒子群未覆盖的区域。(b) 通过求积计算得到的核贡献者有效数量:正态核的 ENC 按 \((3/4)^{d/2}\) 衰减(式 24);由于柯西核的指数依赖于维数,其衰减速度快得多。(c) 对来自 \(N(0,I_d)\) 的 \(N=10{,}000\) 个粒子,重要性权重 \(w\propto 1/\sum_j K(\theta\mid\theta_j)\) 的 ESS/\(N\)。虚线表示 PSIS 后处理的效果。对于两种核,PSIS 都能显著提高 ESS/\(N\);在 \(d=20\) 时,正态核加 PSIS 后仍可保持约 0.40。
柯西核的指数 \(-(1+d)/2\) 随维数变化,使核密度随马氏距离增大而急剧下降,因此,远离粒子群主体的粒子会获得较大的权重。正态核的恒定指数 \(-1/2\) 则形成较平缓的密度分布,从而产生更均匀、但信息量较低的权重。因此,柯西核较低的 ESS/\(N\) 是一种自然的
其能够在前一代粒子未能充分覆盖的区域中放置粒子,这本身也带来了一项副作用。
帕累托平滑重要性抽样(PSIS;
Vehtari et al., 2024
)能够在不丢弃位置较佳粒子的情况下改善权重质量。PSIS 对重要性权重的上尾拟合广义帕累托分布,并将最大的权重视为超过数据驱动阈值的超额值。拟合得到的形状参数刻画该尾部的厚重程度,作用与经典尾指数估计相同。随后,极端权重被替换为拟合分布的期望次序统计量。该单调变换保留粒子的排序,仅调整上尾部分。
图 4c 展示了 PSIS 对两种核函数的影响:对于正态核和柯西核,PSIS 均显著提高了 ESS/N。当 d = 20 时,正态核 + PSIS 的 ESS/N 维持在约 0.40(未经处理时为 0.06),而柯西核 + PSIS 则恢复至 0.18(未经处理时为 0.02)。核系数 c 也会进一步调节这一效果:当 d = 12 时,将 c 从 2 增至 8,会使柯西核 + PSIS 的 ESS/N 从 0.27 提高至 0.52。较大的 c 会扩大核协方差,从而改善 ENC,但代价是接受率降低;不过,柯西分布的厚尾特性确保了即使 c 较大,探索仍能持续进行。
以这种方式平滑权重,是以少量偏差换取方差的大幅降低:经过 PSIS 调整的估计量不再是无偏的自归一化重要性抽样估计量,而是一个正则化估计量。在需要进行平滑的情形下,这种权衡是有利的,因为此时原始权重的尾部已经足够厚(形状参数接近或超过 1),未经平滑的估计量方差实际上为无穷大,且本身已被单个粒子主导。因此,形状参数也兼作一个
诊断指标,数值低于约 0.7 表明平滑估计是可靠的(Vehtari et al., 2024)。不过,顺序设置中有一点需要注意:PSIS 的理论依据适用于一次性的重要性抽样估计,而在这里,平滑后的权重会在每次迭代中应用,并反馈至下一次提议分布的协方差。因此,我们将逐次迭代使用 PSIS 视为经经验验证的扩展,而非现有理论所涵盖的方法。
3.6 ABC-SMC 中柯西扰动核的优势会随着过度膨胀与过度集中并存而增大
我们在不同的 \(d\) 和 \(\alpha\) 下,对两个核分别运行了 \(10^6\) 次迭代;目标分布为 \(N(0, I_d)\),初始状态取自平稳分布。
表 5 展示了 \(d=100\) 时的结果,此时有限 \(d\) 修正较小。所有可测得的经验接受率都接近其解析预测值,并因有限 \(d\) 效应略高于预测值;在 \(10^6\) 次抽样的检测限 \(10^{-6}\) 以下唯一未能测得的接受率(\(\alpha=5\) 时的正态核)与其远小得多的预测值 \(2.7\times10^{-9}\) 一致。当 \(\alpha=3\) 时,正态核的接受率已降至约 \(4.7\times10^{-4}\)(而柯西核为 1.1%);到 \(\alpha=5\) 时,正态核在 \(10^6\) 次尝试中没有接受任何提议,而柯西核仍接受约 0.08% 的提议。
查看此表:
行内查看
弹出查看
下载 PowerPoint
表 5:\(d=100\) 时的接受率:解析预测值与随机游走 Metropolis 的经验结果。
查看此表:
行内查看
弹出查看
下载 PowerPoint
表 6:真实后验分布下受控过度缩放时的接受率(\(d=12\))。
数值为 3 次重复 × 4 条链的平均值。当 \(k=1\) 时,提议分布与后验协方差匹配(最优调参);当 \(k>1\) 时,提议分布被刻意过度缩放。C/N:柯西核接受率与正态核接受率之比。标记为“–”的条目表示接受率为
正态核的接受率低于 10⁻⁴。
高斯目标验证确认了这些公式,但非高斯后验的表现可能有所不同。我们在三个测试问题(Banana、Funnel、Shell)上,于 \(d=12\) 时进行了受控的过度缩放实验。对于每个问题,我们利用 No-U-Turn Sampler(NUTS)的参考样本(Funnel 则使用解析样本)计算真实后验协方差 \(\Sigma\),随后分别运行正态随机游走 MH 和柯西随机游走 MH,提议协方差设为 \((2.38^2/d)\cdot k\cdot\Sigma\),其中 \(k\in\{1,2,4,8,16,32\}\)。实验中未进行任何自适应调整:提议分布在整个过程中保持固定。每种配置运行 4 条链,每条链包含 20,000 个样本,初始值取自后验参考样本,并进行 3 次独立重复。
当 \(k=1\) 时,正态核的表现约优于柯西核 1.4 倍,与最优调参下 ESJD 比率为 1.87 的结果一致。对于这三个问题,性能交叉点均出现在 \(k=2\) 与 \(k=4\) 之间,与 \(\alpha\approx1.44\)(\(k\approx2\))的解析预测相符。当 \(k=8\) 时,柯西核的提议接受数是正态核的 3 至 5 倍;当 \(k=16\) 时,在正态核仍有接受提议的情况下,柯西核的优势达到 5 至 8 倍。这三个后验的几何结构迥异:Banana 具有弯曲的脊线,Funnel 的不同方向上的尺度相差数个数量级,而 Shell 呈环形结构,其众数处的密度为零。尽管如此,三个问题的交叉点(\(k=2\)–\(4\))和柯西核优势的增长趋势均相同,与高斯目标理论给出的、与问题无关的预测一致。这是因为该理论仅取决于提议分布的性质(\(\chi^2(d)/d\) 的集中性),而不取决于目标分布。
MH 分析隔离了提议机制,并确认了过度缩放时柯西核的优势。现在我们回到原始的 ABC-SMC 设置,检验这一优势在以下情况下是否仍然存在:
存在重要性权重。
我们在全部五个测试问题上,以 \(d=3\) 和 \(d=12\) 运行了两种核函数(均为正确设定,因此重要性权重使用与提议分布相同的核密度),粒子数设为 \(N=4{,}000\)(合成问题重复 5 次,Gene 问题重复 3 次)。我们使用切片 Wasserstein 距离(SWD;第 2 节)和三种分类器双样本检验(C2ST)变体来衡量后验质量;每种检验均比较重采样得到的 ABC 后验样本与参考样本:联合 C2ST(分类器同时使用全部 \(d\) 个维度)、边际 C2ST(mC2ST,即 \(d\) 个一维分类器的平均值)以及成对 C2ST(pC2ST,即所有二维分类器的平均值)。对于 C2ST,0.5 表示完美恢复后验,1.0 表示完全失败;对于 SWD,数值越低越好。我们还报告有效样本量占 \(N\) 的比例(ESS/\(N\))以及最终过度缩放比率。
表 7 汇总了结果。当 \(d=3\) 时,在全部五个问题和所有指标上,两种核函数的表现几乎无法区分;SWD 在小数点后三位上的差异小于不同运行之间的方差。当 \(d=12\) 时,结果则更为复杂:每个问题都处于过度膨胀与集中效应相互作用所形成的不同情形中。
查看此表:
行内查看
弹出查看
下载 PowerPoint
表 7:五个问题中 ABC-SMC 的正态核与柯西核比较(\(N=4{,}000\),模拟预算为 \(10^8\),\(p_{\mathrm{acc,min}}=10^{-4}\);合成问题重复 5 次,Gene 问题重复 3 次)。
SWD:切片 Wasserstein 距离(使用 1000 个随机投影;数值越低,越接近参考后验)。C2ST 变体:联合(全部维度)、边际(各维度上的平均值)、成对(所有二维变量对);0.5 表示完美,1.0 表示失败。ESS/\(N\):有效样本量占 \(N\) 的比例。\( \cdot \):核函数的平均过度缩放比率。
相对于真实后验协方差的协方差。参考后验分布为解析得到的(Gaussian、Funnel),或由 NUTS 得到的(Banana、Shell、Gene)。
维度 \(d=12\) 的 Gaussian 模型颇具启发性。尽管从贝叶斯意义上说,样本均值是充分统计量,ABC 距离 \(\|S_{\mathrm{sim}}-S_{\mathrm{obs}}\|\) 却是在 \(\mathbb{R}^d\) 中计算的;在 \(d=12\) 时,接受球相对于后验分布足够大,因此过度膨胀不可忽视。Cauchy 核使 SWD 略有改善(0.031 vs 0.034),联合 C2ST 也有所改善(0.85 vs 0.88),但边际指标相近。
\(d=12\) 时的五个问题体现了过度膨胀与集中效应相互作用的不同情形;在所有问题中,Cauchy 核的优势幅度都与过度膨胀程度相对应。
在 Funnel 问题中,Cauchy 核将 SWD 减半(从 0.122 降至 0.061),并将 [原文此处缺少指标名称] 从 100 降至 17,同时所需总模拟次数更少(84.8M vs 91.9M)。
Banana 是差异最显著的情形。在较长的计算预算下,Cauchy 核使 SWD 降低了 50 倍(从 0.903 降至 0.018),将 mC2ST 从 0.99(完全失效)降至 0.53(几乎完美恢复),并将 [原文此处缺少指标名称] 从 3,737 降至 2。在相近的模拟预算(约 74M)内,Cauchy 核运行了 109 次迭代,而 Normal 核运行了 64 次,这体现了良性循环:当 Normal 核停滞时,Cauchy 核仍能维持接受率,并持续推进到更严格的容差,直至过度膨胀完全消除。
在采用修正后的仅含半径的汇总统计量后,Shell 问题中两种核的表现都很好;但在 \(d=12\) 时,Cauchy 核仍有明显优势:SWD 为 0.029 vs 0.039,联合 C2ST 为 0.64 vs 0.79。Shell 也是唯一一个 Cauchy 核的 ESS/\(N\) 高于 Normal 核的问题(0.48 vs 0.22)。在其他所有问题中,Normal 核更集中的步长会产生更多的……
权重均匀,但在环形后验上,Cauchy 核的可变步长会将提议分散到不同半径;落在壳层附近的提议会获得较高权重,从而形成退化程度较低的粒子群。
基因表达问题证实,Cauchy 核的优势也适用于真实的生物学模型。其层级结构形成漏斗状后验,其中尺度参数
τ
控制随机效应
ε
i
的有效维度。当
d
= 12 时,Normal 核明显难以应对:
膨胀至 277,接受率下降;在 10
8
的预算下,算法仅运行到第 33 次迭代便停滞,SWD = 0.69。Cauchy 核则保持
,在相同预算内以稳定的接受率运行了 91 次迭代,并将 SWD 降低了 12 倍(0.059,而非 0.687)。与其他问题不同,基因模型的
低于 1,这意味着粒子云比参考后验更窄,而不是更宽。这是预期之中的结果:基因模型是唯一具有确定性 ABC 距离的问题,因此不存在不可约的模拟器噪声下限;随着容差降低,ABC 目标会收缩至矩匹配解附近,使收敛后的粒子云窄于全似然 NUTS 参考结果。由此产生的是无害的欠分散,与导致 Normal 核失效的协方差过度膨胀恰好相反;对于该模型,
在一定程度上也反映了运行的进展程度,因为每增加一次迭代,粒子云都会在确定性距离的作用下进一步收缩。
边际 C2ST 也印证了这一差距(Cauchy 核为 0.58,Normal 核为 0.70),而成对 C2ST 则进一步拉大了差距(0.73,而非 0.86)。在降低至 5 × 10
7
的预算时(
表 8
),Cauchy 核已达到 SWD = 0.066,且
,基本上...
完整的 10⁸ 次模拟结果仅耗费一半成本,因此,Gene 也是预算削减对 Cauchy 核影响最小的问题。
查看此表:
查看行内版本
查看弹出版本
下载 PowerPoint
表 8:固定预算比较(N = 4,000,5 × 10⁷ 次模拟,不采用 p_acc,min 停止准则,3 次重复)。+PSIS 表示在每次迭代后对权重应用 Pareto 平滑重要性抽样。
图 5 展示了核函数比较随基因数量增加时的扩展情况,维度从 d = 3(6 个参数)增加到 d = 20(23 个参数)。各维度均采用 10⁸ 次模拟的统一预算,以确保每种配置获得相同的计算资源。当 d ≤ 9 时,四种配置(Normal、Cauchy、Normal + PSIS、Cauchy + PSIS)的 SWD 均低于 0.2,且至多为 2;各核函数在后验质量方面难以区分,而 PSIS 并未带来改善,因为粒子权重本身已较为稳定。首次出现差异是在 d = 12:Normal 核停滞,且 SWD ≈ 0.69;相比之下,Cauchy 的两种配置以及 Normal + PSIS 均保持 SWD ≤ 0.12。到 d = 15 时,未经处理和经过 PSIS 平滑的 Normal 核均失效(SWD 分别约为 1.07 和 0.86),而 Cauchy 的两种配置仍保持 SWD ≤ 0.12。未经处理的 Cauchy 核也会失效,但原因不同:权重退化(ESS/N ≈ 0.03)导致不同运行间的 SWD 方差较大(各次重复的结果分别为 0.93、2.33 和 4.49)。到 d = 20 时,只有 Cauchy + PSIS 能够维持良好表现,在 145 次迭代后达到 SWD = 0.128,且 ESS/N = 0.37。两种技术应对的是互补的失效模式:Cauchy 核可缓解扰动过度集中,而 PSIS 则可控制权重退化;两者各自变得必要时所对应的维度阈值并不相同。
下载图表
在新标签页中打开
图 5:基因问题上的维度扩展。
表达能力问题(\(N=4{,}000\),\(p_{\mathrm{acc,min}}=10^{-4}\),每个 \(d\) 的平坦模拟预算为 \(10^8\),重复 3 次)。两种核在 \(d=9\) 及以下均表现良好。Normal 核在 \(d=12\) 时开始表现吃力,在 \(d=15\) 时失效;Normal + PSIS 将 Normal 核的适用范围扩展了一个维度,但在 \(d=15\) 时同样失效。Cauchy 和 Cauchy + PSIS 均能坚持到 \(d=15\);只有 Cauchy + PSIS 能在 \(d=20\) 时保持有效,此时原始 Cauchy 出现权重退化(ESS/\(N\approx 0.03\),各次重复的 SWD 介于 0.93 和 4.49 之间)。
在 \(d=12\) 时,切片 Wasserstein 距离最清晰地体现了 Cauchy 的优势:联合 C2ST 往往饱和至 1.0,无法区分这两种核。Cauchy 在全部五个问题上均降低了 SWD,改善幅度从较小(Gaussian 上为 1.1 倍)到显著(Gene 上为 12 倍,Banana 上为 50 倍)不等,这证实了性能提升反映的是分布层面的改善,而不只是点估计的假象。边缘和成对 C2ST 变体也印证了这一点:边缘 C2ST 在基于分类器的指标中具有最佳动态范围,而成对 C2ST 能捕捉边缘分布无法反映的相关性失配。
4 讨论
采用 Normal 扰动核的 ABC-SMC 受到两种相互独立的失效模式影响。摘要统计量中的信息损失会导致协方差过度膨胀,使核协方差远远超过真实后验协方差。由维度通过 sd 驱动的扰动过度集中,则会迫使每个 Normal 提案都落在过度缩放半径处的一层薄壳上。两者单独出现时都不会致命。在 \(d=3\) 时,若只有过度膨胀而没有过度集中,两种核表现相同。有充分统计量时,即便存在过度集中,Normal 核仍能表现良好。只有……
这种组合是致命的,而且只针对正态核。
柯西核之所以能够维持性能,是因为其步长包含因子 \(1/V\),其中 \(V\sim\chi^2(1)\);无论 \(d\) 如何变化,\(V\) 都不会集中于某个值。这一机制与具体问题无关:接受率公式、在 \(\alpha\approx 1.44\)(\(k\approx 2\))处的交叉点,以及 ESJD 比较,均源于提议分布的性质,并不依赖目标分布。在三个非高斯后验上的受控实验验证了所预测的交叉点;完整的 ABC-SMC 运行结果则表明,在 \(d=12\) 时,针对全部五个测试问题(包括一个具有生物学动机的基因表达模型),柯西核均能显著降低与参考后验之间的切片 Wasserstein 距离。
除能够容忍过度膨胀外,柯西核还能减轻过度膨胀。表 7 显示,在 \(d=12\) 时,五个问题中有三个问题在柯西核下的数值更低:Funnel 为 17 对 100,Banana 为 2 对 3,737,Gene 为 0.3 对 277;而对于 Gaussian 和 Shell,两种核下的结果相近。其可能的机制是:较高的接受率使柯西核能够达到更严格的容差(在相同模拟预算内完成更多次迭代),从而生成更接近真实后验的粒子云,进而使下一次迭代中的核协方差不那么膨胀。这形成了良性循环:更好的提议带来更严格的容差,更严格的容差减少过度膨胀,而过度膨胀减少又进一步提升提议质量。
在核过度膨胀的情况下,先验拒绝也是造成计算浪费的另一来源。当先验具有有界支持集(这在 ABC 应用中很常见)时,过度膨胀核生成的提议经常落在先验边界之外,因此会在调用模拟器之前被丢弃。这意味着大量计算预算耗费在无法……的提议上。
可能会对总体产生贡献。哪一种核函数受到先验拒绝的影响更大,取决于所处的状态。柯西分布的重尾具有双重作用:即使协方差被过度放大,它仍能使部分提议保持较短的步长,但也会使另一些提议远远超出先验边界。在 Shell 上,在固定的 50M 次模拟预算下,正态核在 40 次迭代中发出了 52M 个提议,而柯西核在 39 次迭代中发出了 58M 个提议。因此,当过度放大程度较轻时,柯西核会承担略高的越界开销。正态核的劣势只有在严重过度放大时才会显现:此时,其集中式提议壳几乎完全位于先验范围之外,几乎每个提议都会在模拟之前被拒绝;而柯西核仍能保留一部分可用于先验支持集内的提议。
这一分解结果表明,可以采用两种相互补充的策略来改进 ABC-SMC。第一种是使用柯西核;在提议尺度设定正确时,这会带来 1.87 倍的效率损失,但能够消除过度集中问题。第二种是改进汇总统计量,从而直接降低过度放大程度。二者并非相互替代:更好的汇总统计量在任意维度下都能发挥作用;只要维度
d
足够大,使得集中效应变得重要,柯西核便能在任意程度的过度放大下发挥作用。第三种策略则可以针对协方差估计本身,通过收缩估计或局部自适应提议来实现(
Filippi et al., 2013
)。这种策略与前两者是互补关系,而非竞争关系:此类估计方法能够降低
但无法将其降至由 ABC 后验分布的额外宽度所决定的结构性下限以下;同时,它们还会增加估计成本和调参负担,而这些正是柯西核所避免的。柯西核之所以具有吸引力,恰恰在于它能够容忍任何残余的过度放大,而无需额外成本。
由于难以预先预测过度放大程度,而……
Cauchy 核的最坏情形惩罚被限制在 1.87×,因此 Cauchy 仍然是一个安全的默认选择。但如果认识到根本原因是汇总统计量中的信息损失,而不是维度本身,那么一个问题随之而来:能否通过使用更好的汇总统计量来避免过度膨胀?原则上可以:对于充分统计量,解析模型表明在任意维度下,Normal 核都能正常工作。实践中则不行:ABC 的使用场景恰恰是似然函数难以处理的模型,而这类模型几乎都不存在有限维充分统计量(充分统计量要求模型具有指数族结构)。汇总统计量必然是不充分的,因此由此产生的过度膨胀是该方法的一个基本特征,而不是可以修复的缺陷。
增加粒子数量
\(N\)
并不能弥合过度膨胀的差距。\(N\) 控制的是粒子云对 ABC 后验分布的逼近程度,而不是 ABC 后验分布与真实后验分布之间的接近程度;\(N\) 与 [待译符号] 的实验对此进行了证实:在 \(d=12\) 的 Funnel 上,从 \(N=500\) 到 8,000,\( [待译符号] \) 始终大致保持在 880,基本呈水平状态。使用 Cauchy 核进行的配套实验(附录 B)显示出相同的 \(N\) 无关性:在 \(d=12\) 的 Funnel 上,Cauchy \( [待译符号] \) 同样在不同 \(N\) 下保持平坦,其数值较低(约为 630,而 Normal 核约为 880),但同样不存在随样本量变化的趋势。对于两种核函数而言,过度缩放都是结构性的;\(N\) 只控制围绕这一下限的抽样误差,而不决定下限本身的位置。
因此,Cauchy 核并不是对暂时性局限的权宜之计,而是对结构性问题的回应。过度膨胀是由汇总统计量中的信息损失内置于 ABC-SMC 之中的,而这种信息损失对于那些需要使用 ABC 的问题类别而言是固有的。唯一剩下的问题是,是否能】【。
维度足够高时,过度膨胀会因集中现象而变得致命;通常,当 \(d\) 超过约 5 时,答案就是肯定的。
这种结构性解读与自适应多层分裂理论自然契合:自适应容差 ABC-SMC 本身就是这样一种方案,其中粒子群依次通过一系列层级,而这些层级是根据当前粒子群的经验分位数自适应设定的。由此来看,我们所记录的过度膨胀是自适应构造本身的性质,而非粒子数量的性质:粒子群近似的是当前容差下的 ABC 后验;只要容差为正,该后验就比真实后验更宽,而且随着 \(N\) 增大,这种差距不会缩小(表 1)。对于这类方案,Cérou 和 Guyader(2016)的波动分析针对自适应选取层级时的分裂估计量给出了中心极限定理,并量化了数据驱动阈值所带来的渐近方差。该分析考察自适应层级,同时假设变异步骤性质良好;而我们研究的则是变异步骤本身,即扰动核。因此,两者互为补充,分别刻画自适应阈值的代价,以及尺度过大的核所带来的代价;柯西分布能够减轻后者。
柯西分布的优势仅适用于无法根据真实目标分布调整协方差的算法。在标准自适应 MH 中,马尔可夫链从真实后验中采样,协方差估计量收敛于真实后验协方差,提议分布的尺度也因而恰当(\(k \approx 1\))。在尺度恰当时,正态核的 ESJD 速度快 1.87 倍,而柯西分布的重尾会使提议浪费在过大或过小的步长上。其他具有结构性……
协方差失配也可能从重尾核中获益,例如采用似然温度序列的序贯蒙特卡洛采样器。
改用柯西提议分布不会影响收敛保证。随机游走 Metropolis 算法的几何遍历性要求目标分布具有指数轻尾,而非提议分布具有指数轻尾(Mengersen and Tweedie, 1996;Jarner and Hansen, 2000);在 ABC 中,目标分布受先验支持集约束。重要性权重分母中的重尾柯西密度也不会导致权重具有无限方差:当先验将参数限制在紧集内时,柯西密度在该集合上有正的下界,因此权重保持有界。
提议机制与重要性权重可以分别优化。柯西分布缓解了提议分布方面的过度膨胀,但其重尾会使重要性权重更集中(ESS/N 较低)。我们研究了逐迭代进行 PSIS 权重平滑(Vehtari et al., 2024)能否改善这一问题:表 8 展示了在每次 ABC-SMC 迭代后对重要性权重应用 PSIS 的效果。PSIS 与核形状之间的交互作用十分显著。对于柯西核,当仍存在可供修正的过度膨胀时,PSIS 能改善后验质量:在 Gaussian 上,SWD 从 0.032 降至 0.018;在 Funnel 上,则从 0.080 降至 0.061。当柯西核在不使用 PSIS 时已达到分布恢复效果(Banana、Shell,以及预算为 5 × 10⁷ 时的 Gene),PSIS 的影响则很小:Banana 的 SWD 保持在 0.018,Shell 从 0.030 变为 0.032,Gene 从 0.066 变为 0.121;这些结果仍都处于分布恢复范围内。对于 Normal 核,逐迭代应用 PSIS 可能有害:在 Shell 上,SWD 从 0.041 增至 0.337(其中一个重复实验完全崩溃为……),
而在 Funnel 和 Gaussian 问题上,PSIS 会产生更差或相近的结果。其机制在于,PSIS 会削减最大的权重;对于 Normal 核所采用的集中提议分布,这些粒子往往是唯一接近目标分布的粒子。将它们的权重平滑降低,会破坏下一次迭代所需的协方差信号。Cauchy 核产生的步长变化更大,因而权重分布更宽,对这种平滑处理更具鲁棒性。因此,与“PSIS 普遍有益”的原始主张相比,可以得出更明确的结论:只有当权重分布异常仍是瓶颈时,PSIS 才能改善 Cauchy 核;在实践中,这意味着原始 Cauchy 核的权重离散度达到几十而非个位数的问题。在本文研究的五个 \(d = 12\) 问题中,这类问题是 Gaussian 和 Funnel;在基因模型的 \(d = 20\) 情形下,PSIS 也至关重要(图 5):原始 Cauchy 核出现权重退化(ESS/\(N \approx 0.03\)),只有 Cauchy + PSIS 能得到接近参考结果的后验分布。
A 固定预算比较
为排除表 7 中 Cauchy 核的优势可能源于其在达到 \(p_{\mathrm{acc,min}}\) 前消耗了更多模拟次数这一可能性,表 8 在固定的 \(5 \times 10^7\) 次模拟预算下重复了比较,并取消了接受率停止准则(\(p_{\mathrm{acc,min}} = 0\))。+PSIS 条件会在每次迭代后对权重应用 Pareto 平滑重要性抽样,从而修改下一次提议所用的协方差估计。
B 对任何配置而言,增加粒子数都无法弥合过度缩放差距
表 1 显示,对于 \(d = 12\) 时 Funnel 问题上的 Normal 核,最终过度缩放比在 \(N \in [500, 8{,}000]\) 的范围内保持平坦。这与第 3.3 节的解析推导一致;该推导表明,这是 ABC 后验 \(\pi_\varepsilon\) 的性质,而非用于近似该后验的粒子云所导致的。一个自然的…
问题在于,另外三种配置是否也存在相同的 \(N\) 独立性,或者 Table 7 中 Cauchy 的较低值以及 PSIS 变体的行为是否反映了有限样本效应,并会随着粒子数量增加而改变。
Table 9 通过对四种配置重复 Table 1 的实验来回答这一问题:问题相同(Funnel,\(d=12\)),停止准则相同(\(p_{\mathrm{acc,min}}=0.01\),\(10^8\) 次模拟预算),\(N\) 取值相同,每行进行三次重复。
查看此表:
查看内嵌表格
查看弹出表格
下载 PowerPoint
Table 9:Table 1 的补充实验:在 Funnel(\(d=12\))上,不同粒子数量下四种配置的最终过度缩放比和有效样本量(\(p_{\mathrm{acc,min}}=0.01\),\(10^8\) 次模拟预算,每行重复三次;报告值为三次重复的均值)。
对于每种配置,\(\text{[原文缺失的量]}\) 均不随 \(N\) 变化。使用任一种核时,PSIS 对 \(\text{[原文缺失的量]}\) 影响很小,但会显著提高 ESS/\(N\),尤其是在 Cauchy 核下。
对于每种配置,\(\text{[原文缺失的量]}\) 均随 \(N\) 保持平稳:Normal 约为 870,Normal + PSIS 约为 864,Cauchy 约为 621,Cauchy + PSIS 约为 607。在 \(N\) 跨越 16 倍范围时,各值的变化均不到 10%,且不存在单调趋势。粒子数量增加 16 倍,并不会改变任何核与加权方法组合下的过度缩放下限。这将 Section 3.3 中针对具有充分统计量的高斯模型所得的解析结果,推广到了摘要统计量不充分的经验设置,并证实结构性过度缩放是核函数和停止准则的属性,而非近似 ABC 后验的粒子云所致。
在这一停止准则下,无论使用哪种核,PSIS 对 \(\text{[原文缺失的量]}\) 几乎没有影响:Normal 与 Normal + PSIS 的典型值相差不到 1%,Cauchy 与 Cauchy + PSIS 则相差约 2%。其机制是
这由最终一次迭代时的加权经验协方差决定,而 PSIS 仅对极端权重进行平滑;当权重分布不呈重尾特征(Normal 核),或停止准则较宽松(两种核的 \(p_{\mathrm{acc,min}}=0.01\))时,平滑不会显著改变协方差估计的主体部分。PSIS 改变的是有效样本量占比:Normal + PSIS 将 ESS/\(N\) 从约 0.80 提高至 0.89,Cauchy + PSIS 则将其从约 0.17 提高至 0.51,提升了三倍。这对任何直接使用加权粒子云进行的下游推断都很重要,例如后验均值、可信区间或协方差估计,尽管它不会改变过度缩放的下限。
在 \(p_{\mathrm{acc,min}}=0.01\) 时,Cauchy 下限约为 Normal 下限的 71%,且 Cauchy 变体的终止迭代次数略高(46–50 次,而 Normal 为 40–42 次)。在这一宽松的停止准则下,四种配置产生的迭代次数和粒子云总体相近,因此 Cauchy 在此处的有限优势,反映的是扰动形状对协方差估计器的直接影响,而非第 3.2 节所述的良性循环:Cauchy 的可变步长使终止时的粒子群各向异性略低;但若没有较严格的 \(p_{\mathrm{acc,min}}\) 所允许的额外迭代次数,表 7 中观察到的完整差距(当 \(p_{\mathrm{acc,min}}=10^{-4}\) 时,Cauchy 为……,Normal 为 100)便不会显现。因此,Cauchy 的显著优势并非有限 \(N\) 造成的假象,而是允许 Cauchy 运行更长时间、直至算法终止所产生的动力学效应。
参考文献
Beaumont, M. A., Cornuet, J.-M., Marin, J.-M., and Robert, C. P. (2009). 自适应近似……
贝叶斯计算。《Biometrika》,96(4):983–990。doi:10.1093/biomet/asp052。OpenUrl;CrossRef;Web of Science
↵ Bengtsson, M., Ståhlberg, A., Rorsman, P. 和 Kubista, M.(2005)。朗格汉斯胰岛单细胞基因表达谱分析揭示了 mRNA 水平呈对数正态分布。《Genome Research》,15(10):1388–1392。OpenUrl;摘要/免费全文
↵ Bengtsson, T., Bickel, P. J. 和 Li, B.(2008)。重新审视维数灾难:超大规模系统中的粒子滤波器崩溃。载于《概率与统计:纪念 David A. Freedman 文集》,第 316–334 页。数理统计研究所。doi:10.1214/193940307000000518。OpenUrl;CrossRef
↵ Bonneel, N., Rabin, J., Peyré, G. 和 Pfister, H.(2015)。测度的切片 Wasserstein 重心与 Radon Wasserstein 重心。《Journal of Mathematical Imaging and Vision》,51(1):22–45。doi:10.1007/s10851-014-0506-3。OpenUrl;CrossRef
↵ Cérou, F. 和 Guyader, A.(2016)。自适应多层分裂的波动分析。《The Annals of Applied Probability》,26(6):3319–3380。OpenUrl
↵ Del Moral, P., Doucet, A. 和 Jasra, A.(2006)。序贯蒙特卡洛采样器。《Journal of the Royal Statistical Society: Series B》,68(3):411–436。doi:10.1111/j.1467-9868.2006.00553.x。OpenUrl;CrossRef
↵ Dey, D. K. 和 Srinivasan, C.(1985)。Stein 损失下协方差矩阵的估计。《The Annals of Statistics》,13(4):1581–1591。OpenUrl
↵ Filippi, S., Barnes, C. P., Cornebise, J. 和 Stumpf, M. P. H.(2013)。基于序贯蒙特卡洛的近似贝叶斯计算中核函数的最优性。《Statistical Applications in Genetics and Molecular Biology》,12(1):87–107。doi:
10.1515/sagmb-2012-0069
OpenUrl
CrossRef
PubMed
Grün, D., Kester, L. 和 van Oudenaarden, A.(2014)。单细胞转录组学噪声模型的验证。《自然方法》,11(6):637–640。
OpenUrl
PubMed
Hoffman, M. D. 和 Gelman, A.(2014)。No-U-Turn 采样器:自适应设定哈密顿蒙特卡罗的路径长度。《机器学习研究杂志》,15(47):1593–1623。
https://jmlr.org/papers/v15/hoffman14a.html
OpenUrl
James, W. 和 Stein, C.(1961)。二次损失下的估计。载于《第四届伯克利数学统计与概率研讨会论文集》,第1卷,第361–379页。加利福尼亚大学出版社。
OpenUrl
Jarner, S. F. 和 Hansen, E.(2000)。Metropolis 算法的几何遍历性。《随机过程及其应用》,85(2):341–361。
doi: 10.1016/S0304-4149(99)00082-4
OpenUrl
CrossRef
Lopez-Paz, D. 和 Oquab, M.(2017)。重新审视分类器双样本检验。载于《国际表征学习会议》(ICLR)。
https://openreview.net/forum?id=SJkXfE5xx
Love, M. I., Huber, W. 和 Anders, S.(2014)。使用 DESeq2 对 RNA-seq 数据进行倍数变化和离散度的稳健估计。《基因组生物学》,15(12):550。
doi: 10.1186/s13059-014-0550-8
OpenUrl
CrossRef
PubMed
Lun, A. T. L., Bach, K. 和 Marioni, J. C.(2016)。通过跨细胞合并数据,对含有大量零计数的单细胞 RNA 测序数据进行标准化。《基因组生物学》,17:75。
doi: 10.1186/s13059-016-0947-7
OpenUrl
CrossRef
PubMed
Mengersen, K. L. 和 Tweedie, R. L.(1996)。Hastings 算法和 Metropolis 算法的收敛速率。《统计年刊》,24(1):101–121。
doi: 10.1214/aos/1033066201
OpenUrl
CrossRef
Web of
科学
Neal, R. M.(2003)。切片抽样。《统计年刊》,31(3):705–767。doi:10.1214/aos/1056562461。
Peccoud, J. 和 Ycart, B.(1995)。基因产物合成的马尔可夫建模。《理论种群生物学》,48(2):222–234。
Prangle, D.、Viscardi, C. 和 Ragy, S.(2025)。ABC-SMC 核函数的比较。arXiv 预印本,arXiv:2511.06351。https://arxiv.org/abs/2511.06351。
Roberts, G. O.、Gelman, A. 和 Gilks, W. R.(1997)。随机游走 Metropolis 算法的弱收敛与最优尺度。《应用概率年刊》,7(1):110–120。doi:10.1214/aoap/1034625254。
Roberts, G. O. 和 Rosenthal, J. S.(2001)。多种 Metropolis–Hastings 算法的最优尺度。《统计科学》,16(4):351–367。doi:10.1214/ss/1015346320。
Shahrezaei, V. 和 Swain, P. S.(2008)。随机基因表达的解析分布。《美国国家科学院院刊》,105(45):17256–17261。
Sherlock, C.、Fearnhead, P. 和 Roberts, G. O.(2010)。随机游走 Metropolis:通过案例研究联系理论与实践。《统计科学》,25(2):172–190。doi:10.1214/10-STS327。
Sherlock, C. 和 Roberts, G. O.(2009)。椭圆对称单峰目标分布下随机游走 Metropolis 的最优尺度。《伯努利》,15(3):774–798。doi:10.3150/08-BEJ176。
Sisson, S. A.、Fan, Y. 和 Tanaka, M. M.(2007)。无需似然函数的序贯蒙特卡洛。《美国国家科学院院刊》,104(6):1760–1765。doi:
10.1073/pnas.0607208104
↵ Snyder, C., Bengtsson, T., Bickel, P. 和 Anderson, J.(2008)。高维粒子滤波的障碍。《月刊天气评论》,136(12):4629–4640。doi: 10.1175/2008MWR2529.1。
↵ Szu, H. 和 Hartley, R.(1987)。快速模拟退火。《物理快报 A》,122(3–4):157–162。doi: 10.1016/0375-9601(87)90796-1。
↵ Toni, T., Welch, D., Strelkowa, N., Ipsen, A. 和 Stumpf, M. P. H.(2009)。用于动力系统参数推断与模型选择的近似贝叶斯计算方案。《英国皇家学会界面杂志》,6(31):187–202。doi: 10.1098/rsif.2008.0172。
↵ Vallejos, C. A., Marioni, J. C. 和 Richardson, S.(2015)。BASiCS:单细胞测序数据的贝叶斯分析。《PLoS 计算生物学》,11(6):e1004333。doi: 10.1371/journal.pcbi.1004333。
↵ Vehtari, A., Simpson, D., Gelman, A., Yao, Y. 和 Gabry, J.(2024)。帕累托平滑重要性抽样。《机器学习研究杂志》,25(72):1–58。https://jmlr.org/papers/v25/19-556.html。
↵ Viswanathan, G. M., Buldyrev, S. V., Havlin, S., da Luz, M. G. E., Raposo, E. P. 和 Stanley, H. E.(1999)。优化随机搜索的成功率。《自然》,401(6756):911–914。doi: 10.1038/44831。
↵ Yao, X., Liu, Y. 和 Lin, G.(1999)。加速进化规划。《IEEE 进化计算汇刊》,3(2):82–102。doi: 10.1109/4235.771163。
返回顶部
上一篇
下一篇
发布于2026年6月25日。
下载
电子邮件
感谢您有兴趣传播 bioRxiv 的信息。
注意:我们要求您提供电子邮件地址,仅用于确认您是本文的发送者。
您的电子邮件地址
*
您的姓名
*
收件人
*
请每行输入一个电子邮件地址,或用逗号分隔多个地址。
您即将发送以下内容
过度膨胀与过度集中:为何柯西扰动核是 ABC-SMC 的正确选择
邮件主题
(您的姓名)转发了 bioRxiv 上的一个页面给您
邮件正文
(您的姓名)认为您可能会对 bioRxiv 网站上的这个页面感兴趣。
您的个人留言
验证码
此问题用于确认您是真实访客,并防止自动垃圾信息提交。
分享
过度膨胀与过度集中:为何柯西扰动核是 ABC-SMC 的正确选择
Marc Sturrock,
Vahid Shahrezaei
bioRxiv
2026.06.24.734205;
doi:https://doi.org/10.64898/2026.06.24.734205
分享本文:
复制
引文工具
过度膨胀与过度集中:为何柯西扰动核是 ABC-SMC 的正确选择
Marc Sturrock,
Vahid Shahrezaei
bioRxiv
2026.06.24.734205;
doi:https://doi.org/10.64898/2026.06.24.734205
引文管理器格式
BibTeX
Bookends
EasyBib
EndNote(标记格式)
EndNote 8(XML)
Medlars
Mendeley
Papers
RefWorks(标记格式)
Ref Manager
RIS
Zotero
推文组件
Facebook 赞
Google +1
学科领域
所有文章
动物行为与认知(7776)
生物化学(18142)
生物工程(14314)
生物信息学(42945)
生物物理学(21895)
癌症生物学(18937)
细胞生物学(25926)
临床试验(138)
发育生物学(13543)
生态学(20321)
流行病学(2067)
进化生物学(24785)
遗传学(15813)
基因组学(22910)
免疫学(18132)
微生物学(41200)
分子生物学(17411)
神经科学
古生物学
(679)
病理学
(2897)
药理学与毒理学
(4932)
生理学
(7850)
植物生物学
(15359)
科学传播与教育
(2062)
合成生物学
(4374)
系统生物学
(9927)
动物学
(2311)
关键词:近似贝叶斯计算 · 序贯蒙特卡洛 · 柯西扰动核 · 高维贝叶斯推断 · 汇总统计量
原文链接:https://www.biorxiv.org/content/10.64898/2026.06.24.734205v1?rss=1