祝贺实验室博士生赵佳乐一篇论文“One Object, Multiple Lies: A Benchmark for Cross-task Adversarial Attack on Unified Vision-Language Models“被ICCV2025录用。

统一视觉语言模型（VLMs）最近取得了显著进展，使单一模型能够通过共享的计算架构，以不同的指令灵活处理多样的任务。这种基于指令的控制机制带来了独特的安全挑战，因为对抗性输入必须在可能被不可预测地应用于处理相同恶意内容的多个任务指令中保持有效。在本文中，我们引入了CrossVLAD，这是一个新的基准数据集，它利用GPT-4辅助标注从sMSCOCO数据集中精心筛选而来，旨在系统性地评估针对统一VLM的跨任务对抗性攻击。CrossVLAD的核心是“物体改变”目标——在四个下游任务中持续操纵目标物体的分类结果——并提出了一种新的成功率度量标准，该标准用于衡量在所有任务中同时发生的错误分类，从而为对抗性迁移能力提供严格的评估。为了应对这一挑战，我们提出CRAFT（基于区域与令牌对齐的跨任务攻击框架），一种高效的、以区域为中心的攻击方法。在Florence-2及其他流行的统一VLM上进行的大量实验表明，我们的方法在整体跨任务攻击性能和目标性物体改变成功率方面均优于现有方法，凸显了其在跨多样化任务中对统一VLM进行有效对抗性影响的能力。