威斯尼斯人网站视觉与医学AI实验室3篇论文入选ICME2023

威斯尼斯人网站计算机视觉与医学人工智能实验室在ICME2023(IEEE International Conference on Multimedia and Expo)收获颇丰，共有3篇论文被录用。ICME是多媒体研究领域旗舰类国际学术会议之一，自2000年以来由四个IEEE分会主办，也是CCF（中国计算机学会）推荐的B类国际会议。投稿的论文将会经过双盲评审，在审稿人的严格筛选下进行评估。视觉与医学AI实验室有3篇论文入选ICME，这是威斯尼斯人网站青年教师刘昊教授、李振东副教授、莫先副教授，网络与信息管理中心王恒教授以及全体研究生们联合攻关的学术成果。成果受国家自然科学基金面上项目、中国科协青年托举人才项目、宁夏科技厅重点研发计划、宁夏自然科学基金优秀青年项目、威斯尼斯人网站(中国)集团有限公司“贺兰山学者”（青年学者）以及中国人工智能学会-华为Mindspore学术奖励基金等项目资助。

1.基于结构等变性自监督学习的面部姿态估计

Structural Equivariance Self-supervised Learning for Facial Pose Estimation

面部姿态估计旨在根据给定的人脸面部图像预测头部的连续旋转方向，这类算法在人机交互、注意力建模和行为分析等领域有着广泛的应用，然而，由于深度学习的模型建立在离散的姿态特征之上，导致大多数模型都存在头部姿态的不确定性，特别在野外条件下的面孔容易失效。主要是因为现实世界中捕捉的人脸，由于表情、性别和种族的差异，在形状上存在显著的差异。面部旋转扭曲或隐藏了鉴别特征，导致在旋转空间中无法正确估计姿态。

为此，研究团队提出了一种自监督学习方法，其能够通过结构等方差来模拟头部姿态的非线性变化。该方法设计了一个代理任务，以不亦重不需要外部标签的自我监督形式提取三种不同的方向特征。在技术上，模型首先将从学习到的特征表示空间中领域样本建立一个完整的领域图，这是由人脸的外观和形状信息决定的。此外，为了细化不同邻域之间的关系，模型希望每个子图都被同一外部属性的人脸所主导，如表情、性别和遮挡。为了模拟不同潜在语义因子控制下的姿态不变性，模型鼓励属于同一子图的特征相似，并使所有其他子空间之间的语义相似度最大化。通过这种方式，就可以构建面部潜在的局部关联，如眼睛和鼻子的空间对应关系，而不仅仅是同质的视觉特征。流程图如下：

论文作者：Yaoxing Wang, Heng Zhou, Zhendong Li, Xian Mo, Hao Liu

2.基于统计特征与因果特征协同调制的人脸活体检测

Joint Statistical and Causal Feature Modulated Face Anti-Spoofing

人脸识别技术已经广泛应用于移动支付、个性服务和门禁安全等领域。人脸活体检测技术用于保护人脸识别系统免受物理媒介攻击，包括打印攻击、回放攻击（如数字视频）和面具攻击（如3D面具）等。然而，在真实场景获取的图片有来自高层语义的干扰信息（如身份）和来自底层特征的混杂因素（如呈现媒介），它们破坏了与活体属性相关的细粒度信息。现有的方法难以解决这个问题，导致模型在未知领域和未知攻击场景下难以泛化。

研究团队提出了一种分层特征调制的方法，从高层语义和底层特征两个层面去除与活体属性无关的信息。具体来说，该方法包括局部差分直方图模块和基于期望最大算法的特征干预模块。前者为深度结构语义补充结构无关的统计信息，用以缓解模型对结构语义的过拟合；后者将底层信息的耦合建模为分布混合问题，利用期望最大算法实现对特征学习的干预，去除混杂因素的同时强化细粒度活体属性信息。在多个人脸活体检测数据集上的实验证明了在常规条件和分布外设定下该方法都有较好的准确性和稳定性。

   论文作者：Xin Dong, Tao Wang, Zhendong Li, Hao Liu

3.基于傅里叶特征的跨模态医学图像合成

Cross-Modality Fourier Feature for Medical Image Synthesis

跨模态医学图像合成旨在通过学习给定的源模态图像和目标模态图像之间的关系来合成目标模态医学图像，在现代医学诊断中起着十分重要的作用，因为不同模态的医学图像可以突出不同组织的特征，综合多种模态医学图像信息以进行疾病准确评估诊断已经成为必需。然而，通过最小化像素或体素强度差异合成目标模态的现有工作通常会导致源和目标MRI模态之间的解剖结构生成异常。

为了解决这个问题，研究团队受到MRI图像是通过将信号转换为空间域图像从而成像的原理启发，将MRI图像转换为频域。与现有方法将频域简单地分为低频和高频分量不同，研究团队采用Shapley值量化了每个频率对不同模态MRI图像结构的贡献。同时，基于不同模态MRI图像应具有相同解剖结构的医学先验，研究团队根据每个频率的量化贡献值来选择不同模态MRI图像中表达相同结构的频率，从而依次迭代调整目标模态生成的解剖结构，最终生成具有合理解剖结构的目标模态图像。在主流医学影像数据集上的实验证明基于傅里叶特征的跨模态医学图像合成方法可以有效减少异常解剖结构的生成。

论文作者：Mei Ma, Ling Lin, Heng Wang, Zhendong Li, Hao Liu