AAAI 2025 | FAMNet：频域感知匹配网络，跨域小样本医学图像分割

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

1. 核心思想

本文聚焦于解决跨域小样本医学图像分割（CD-FSMIS）中的域偏移问题，提出了一种名为 FAMNet 的新型网络架构——频率感知匹配网络。其核心理念在于：尽管不同成像模态（如 CT 与 MRI）在空间域中存在显著差异，但它们在频域、尤其是低频幅度谱上表现出高度一致性。因此，FAMNet 转变传统思路，不再依赖空间特征的直接对齐，而是引入频率分析机制。

通过设计频率感知匹配（FAM）模块，在频域中实现 Support 和 Query 图像特征的精准匹配，从而生成更具鲁棒性的类别原型。同时结合多光谱融合（MSF）模块，有效整合高频细节与低频语义信息，最终在极少量标注样本下完成高质量的跨域分割任务。

2. 背景与动机

研究背景：
小样本医学图像分割（FSMIS）的目标是利用极少的带标签样本（Support）来指导对新类别图像（Query）的分割。然而在真实临床环境中，训练和测试数据往往来自不同设备或成像方式（例如训练用CT，测试用MRI），形成典型的跨域场景，导致模型性能急剧下降。

现存挑战：

• 域内差异（Intra-domain variance）：即便在同一模态下，患者个体之间的解剖结构、病灶形态等也存在较大变化，使得从 Support 提取的原型难以准确代表 Query 中对应区域，引发“原型偏差”问题。
• 域间差异（Inter-domain variance）：由于CT和MRI基于不同的物理原理成像，其灰度分布、纹理特征差异巨大，传统的空间域特征度量方法难以建立有效的相似性判断。

关键观察与启发：
如右图所示，虽然CT与MRI在空间域视觉差异明显（左图 a），但在进行傅里叶变换后得到的幅度谱中，尤其是在低频区域，两者展现出惊人的一致性（右图 b）。这一发现表明：频域中的低频成分具有较强的跨模态稳定性。

该现象成为本工作的核心驱动力——既然空间域难以对齐，何不转向频域进行特征匹配？由此催生了FAM模块的设计思路。

[在此处插入图片 Figure 3: 原型偏差问题的可视化]

3. 主要创新点

1. 频率感知匹配网络（FAMNet）：首次将频域建模引入跨域小样本医学图像分割任务，构建双分支频率分析框架，利用频域特征的模态不变性缓解域偏移影响。
2. 频率感知匹配模块（FAM）：作为核心组件，该模块通过快速傅里叶变换（FFT）将特征分解为幅度谱（反映纹理与风格）和相位谱（反映结构与形状），并在频域空间内执行 Support 与 Query 的密集匹配，动态生成查询自适应的无偏原型。
3. 多光谱融合模块（MSF）：提出一种可学习的融合策略，能够自适应地融合低频（承载整体语义与轮廓）与高频（包含边缘与局部细节）特征表达，确保输出分割结果兼具结构准确性与细节清晰度。

4. 方法细节

整体架构概述

FAMNet 采用标准的小样本分割双输入范式：Support 图像（含标注掩码）与 Query 图像并行输入共享权重的卷积主干网络进行特征提取。随后流程如下：

1. 特征提取：Support 和 Query 图像分别通过共享的 CNN 骨干网络（如 ResNet）提取深层特征图。
2. 前景过滤：利用 Support 对应的真实掩码对提取的特征进行掩蔽操作，仅保留前景类别的有效特征，用于后续原型构建。
3. 频率分解：将过滤后的特征送入 FAM 模块，应用 FFT 将其转换至频域，并分离出幅度与相位信息，进一步划分为低频与高频分量。
4. 双路径处理：
   • 低频路径：重点利用低频幅度谱在跨模态下的稳定性，通过频域匹配机制计算 Support 与 Query 的相似性，生成更贴近 Query 分布的低频原型。
   • 高频路径：保留高频成分以维持精细的空间细节信息，避免因低通滤波造成边界模糊。
5. 多光谱融合（MSF）：设计一个注意力引导的融合模块，动态加权整合来自低频与高频路径的信息，生成最终的增强型原型表示。
6. 分割预测：将 Query 的空间特征与融合后的原型进行逐像素余弦相似度计算，生成置信图，并通过阈值化或 argmax 得到最终的分割掩码。

5. 即插即用模块的作用

FAM 模块具备良好的通用性与模块化特性，可作为即插即用组件嵌入现有小样本分割框架中。它无需修改原网络结构，只需在特征提取之后接入 FAM 处理流程，即可显著提升模型在跨域场景下的泛化能力。尤其适用于那些原本仅依赖空间特征匹配的方法，通过引入频域对齐机制，有效缓解由模态差异带来的性能退化问题。

此外，MSF 模块也可独立部署，用于优化多尺度或多频率特征的融合效果，提升分割边界的精确性与完整性。

6. 实验部分简单分析

作者在多个公开医学影像数据集上进行了广泛验证，涵盖 CT 到 MRI、不同器官及病灶类型的跨域设置。实验结果显示，FAMNet 在各类设定下均显著优于现有的先进方法，尤其在极端小样本（如 1-shot）条件下仍保持稳定表现。

消融实验进一步证明了 FAM 与 MSF 模块的有效性：单独加入任一模块均可带来性能增益，而二者联合使用则达到最优效果。可视化结果也显示，经 FAM 校正后的原型更接近 Query 特征中心，有效缓解了原型偏差问题，实现了更完整、准确的目标区域分割。

核心创新模块详解

模块 A：频率感知匹配模块 (FAM)

FAM 模块的核心目标是解决跨域场景下 Support 与 Query 样本之间的风格差异和原型偏差问题。通过在频域空间中进行特征对齐，该模块实现了更鲁棒的特征匹配。

[在此处插入图片 Figure 2 中下部的 FAM Module 细节]

内部结构与数据流：

• FFT 变换：将输入的 Support 和 Query 特征图从空间域转换至频域，为后续的频谱分析提供基础。
• 频谱分解：在频域中将特征分解为两个关键部分——幅度谱（Amplitude）和相位谱（Phase）。其中，幅度谱主要反映图像的纹理与风格信息，容易受到成像设备或域变化的影响；而相位谱则保留了结构布局等域不变性较强的语义信息。
• 特征交互机制：为了缓解因域偏移导致的特征错配，模块采用密集匹配（Dense Matching）策略，计算 Support 与 Query 在频域中的亲和度矩阵，并据此生成一个针对当前 Query 优化后的新 Support 原型。这一过程本质上是在频域内使 Support 向 Query “靠拢”，实现动态校准。
• iFFT 还原：完成频域操作后，使用逆傅里叶变换（iFFT）将处理后的特征重新映射回空间域，供后续网络层使用。

设计目的总结：借助“上帝视角”——即频域表达，FAM 能有效消除不同模态间的风格干扰，提升原型在跨域情况下的泛化能力。

模块 B：多光谱融合模块 (MSF)

内部结构：MSF 是一个高效的特征聚合单元，专注于整合来自不同频率通道的信息。

工作机制：

• 接收由 FAM 输出的低频特征 F_low 与高频特征 F_high。
• 利用卷积操作结合注意力机制（也可采用简单拼接），自适应地调整各频率成分的权重分配。

设计目的：低频分量决定了器官是否存在及其整体形态（“是不是这个器官”），而高频分量则刻画了边缘细节与局部结构（“边界在哪”）。MSF 的作用正是将这两类互补信息有机融合，避免在分割过程中丢失关键细节。

核心理念与协同机制

核心理念：“跨域对齐，频域先行”。

传统方法通常在像素空间或浅层特征空间强行进行域迁移，效果有限。FAMNet 创新性地指出，频域（尤其是低频部分）具备更强的跨模态共性，可作为连接不同成像模式（如 CT 与 MRI）的桥梁。

模块协同工作方式：

• FAM 扮演“调音师”角色：负责对 Support 特征进行频率层面的校准，使其在频域分布上贴近 Query，从而削弱风格差异带来的影响。
• MSF 充当“指挥家”角色：将经过校准的低频语义信息与原始保留的高频细节信号进行融合，协调输出最具判别力的综合特征。

即插即用模块的应用潜力

由于其高度模块化的设计，FAMNet 中的关键组件可灵活嵌入多种主流架构中，适用于广泛任务场景。

FAM 模块（Frequency-aware Matching）

适用场景：跨域任务（例如 CT → MRI、白天→夜晚）、风格迁移、小样本学习等存在显著域差异的问题。

具体应用方式：

• 替代 Attention 结构：在 Transformer 或 CNN 架构中，可用 FAM 替代部分 Cross-Attention 层，尤其适用于源域与目标域分布差异较大的情形，增强模型的跨域理解能力。
• 用于原型校准：在基于原型的模型（如 Prototypical Networks）中，在原型计算前插入 FAM 模块，能显著提高原型的稳定性和代表性。

MSF 模块（Multi-Spectral Fusion）

适用场景：需要同时保持高层语义与精细边界的视觉任务，包括边缘检测、超分辨率重建、医学图像分割等。

具体应用方式：

• 作为特征融合层：可在 U-Net 的跳跃连接（Skip Connection）或 FPN 的特征金字塔融合阶段，以 MSF 替代传统的 Concat 或 Add 操作，实现更优的语义-细节平衡。

实验分析简述

对比方法：实验选取了当前最先进的 FSMIS 方法作为基线，包括 ALPNet、ADNet、CAT-Net 等代表性模型。

实验设置：采用极具挑战性的跨域设定，例如在 CT 数据上训练，而在 MRI 数据上测试，反之亦然，充分验证模型的域泛化能力。

结果分析：

• 定量表现：FAMNet 在 Dice 指标上全面超越现有方法，尤其在 CT → MRI 这类大跨度任务中，性能提升达 5%~10%，充分证明频域对齐的有效性。
• 定性观察：可视化结果表明，FAMNet 分割出的器官轮廓更加精确贴合真实边界，极少出现类别混淆（如误将肾脏识别为肝脏），说明原型校准机制发挥了关键作用。
• 消融实验：验证了 FAM 与 MSF 的不可或缺性。移除 FAM 后，跨域性能大幅下降，凸显其在整体框架中的核心地位。

总结

FAMNet 提出了一种全新的思路：当空间域难以突破时，转向频域寻求解决方案。它巧妙利用频域中普遍存在的低频共性，构建起连接异构模态的桥梁，堪称应对医学影像领域偏移问题的典范之作。

对于从事医学图像分析、迁移学习、小样本学习的研究者而言，该工作不仅具有理论启发性，也具备极强的工程实践价值，值得深入研读与复现。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：FAM 小样本 NET MNE connection