ECCV 2024：开放视觉语义理解领域领航者，中科视语卓越技术再获全球第一

中科视语，卓越技术实力再获国际权威认可！

不久前，2024计算机视觉领域的顶级学术会议ECCV在全球目光注视中顺利落幕，ECCV的全称是European Conference on Computer Vision（欧洲计算机视觉国际会议），是两年一度的全球计算机视觉领域与模式识别领域最顶尖的学术会议。其与CVPR(IEEE/CVF Computer Vision and Pattern Recognition Conference)、ICCV(IEEE/CVF International Conference on Computer Vision)一起并称为计算机视觉领域的三大最高级别的顶级会议。本次会议上，备受关注的开放世界鲁棒语义分割挑战赛BRAVO 2024 (a unified Benchmark for Robustness in Autonomous Vehicles in the Open-world，简称BRAVO)也在同期结束了“巅峰对决”，在本次比赛中，中科视语AI团队以62.6的出色成绩，从全球17个国家和地区，百余支顶尖AI团队中脱颖而出，摘下桂冠。这也是中科视语在2024年登顶工业异常检测挑战赛桂冠后，面向图像语义分割技术的又一次实力展示。

中科视语AI团队斩获 多域图像语义分割 赛道(BRAVO 2024）赛道第一名

开放世界鲁棒语义分割挑战赛BRAVO

自动驾驶汽车需要在极其复杂的开放世界中运行，保障乘客安全极其重要。因此，自动驾驶系统不仅需要在其已知域中表现出色，而且必须对对抗性攻击、极端天气条件、未知域环境、或罕见但可能具有灾难性的驾驶情况，具有非常高的鲁棒性。BRAVO比赛旨在开发、测试以及评估自动驾驶感知模型的鲁棒性，以应对以下以安全自动驾驶为目标的挑战：a）模型输出的校准及其不确定性的估计；b）检测域外目标或者区域；c）评估逐渐偏离预期已知域的域偏移程度。

BRAVO比赛旨在对城市场景中各种形式的自然条件和逼真的损坏模拟，对图像语义分割模型进行基准测试。本次BRAVO比赛分为两个赛道：

1.单域训练：仅在 Cityscapes 数据集上训练模型，评估模型在有限监督和地理多样性下，面对现实场景中意外损坏时的鲁棒性。

2.多域训练：在多个混合数据集上训练模型，包括自然域和合成域，评估分割模型在多域数据集条件下对未知域的鲁棒性。

BRAVO比赛需要模型在测试阶段，能够（1）对训练时“特定的环境”下对“已知类别”进行语义分割；（2）对训练阶段“未知的环境”下对“已知类别”进行语义分割；（3）对训练时“特定的环境”下对“异常类别”进行语义分割；（4）对训练阶段“未知的环境”下对“异常类别”进行语义分割。BRAVO比赛要求模型具有极高的鲁棒性和泛化能力。

BRAVO四种测试数据类型示意图

基于不确定度度量学习的图像语义分割方法UBANet

为了有效识别出异常类别，同时能够提高模型的泛化能力，研究团队提出了基于不确定度度量学习的图像语义分割方法UBANet，通过对模型预测的不确定度进行建模和函数近似，从而优化模型预测的不确定度，提高模型对于已知类别和未知类别的区分度，进一步增强模型的泛化能力。

UBANet 结构图

先验引导结构设计的FastSAM 细粒度分割方法

为了进一步优化语义分割的边缘准确性，研究团队采用FastSAM来对模型的预测结果进行边缘平滑。FastSAM包括两个阶段，即全实例分割和提示引导选择阶段。前一个阶段是基础阶段，第二个阶段本质上是面向任务的后处理。整体方法引入了与视觉分割任务相匹配的先验知识，可以在较少的参数数量下更快地收敛。

FastSAM 结构图

图像语义分割有效助力智慧交通和智慧工业实现应用落地

中科视语AI团队通过在图像语义分割领域多年的深耕，积累了丰富的研究经验与众多应用落地案例。

在智慧交通领域，中科视语展现出强大的实力，高效地完成了从先进技术到商业化落地的转化。智慧交通拳头产品借助图像语义分割技术，对交通场景实施实时监控，精准识别车辆、行人、交通标志等，为交通管理部门提供可靠决策依据。同时，该技术还具备交通流量统计、事故预警等强大功能，为智慧交通的蓬勃发展提供坚实技术支撑。

在道路瑕疵检测方面，图像语义分割再度彰显关键作用。通过中科视语先进算法，实现对道路图像进行精细分析，自动识别裂缝、坑洼等各类瑕疵，准确区分道路不同部分并定位瑕疵位置。这一技术大幅提升检测效率，降低人工巡检成本与时间，实现实时监测，及时发现道路问题，为道路维护提供精准信息，有力推动交通基础设施不断完善。

除此之外，图像语义分割在无人驾驶领域发挥着至关重要的作用。它能够对车辆周围的环境进行精确分析，区分道路、车辆、行人、交通标志等不同元素。通过图像语义分割技术，无人驾驶汽车可以准确识别行驶路径，及时避开障碍物，极大地提高行驶的安全性。同时，该技术还能帮助车辆更好地理解交通场景，辅助决策。图像语义分割为无人驾驶的实现提供了强大的技术支持，推动着无人驾驶技术不断向前发展。

在工业领域，图像语义分割同样价值巨大。在工业安全生产方面，实现对工厂环境实时监测分析，准确识别设备运行状态、人员操作行为及潜在安全隐患区域，及时发出预警，有效降低安全事故发生概率。在工业质检环节，更是大显身手，精确区分产品不同部位，快速检测出表面瑕疵、尺寸偏差等问题，提高质检效率与准确性，减少人为误差，确保产品质量一致性与可靠性，为工业领域的安全生产与高质量发展提供强大支撑。

比赛链接：

[1] https://uncertainty-cv.github.io/2024/challenge/

[2] https://benchmarks.elsa-ai.eu/?ch=1&com=evaluation&task=2

参考文献：

[1] Tuan-Hung Vu, Eduardo Valle, Andrei Bursuc, Tommie Kerssies, Daan de Geus, Gijs Dubbelman, Long Qian, Bingke Zhu, Yingying Chen, Ming Tang, Jinqiao Wang, Tomás Vojír, Jan Sochman, Jirí Matas, Michael Smith, Frank P. Ferrie, Shamik Basu, Christos Sakaridis, Luc Van Gool: The BRAVO Semantic Segmentation Challenge Results in UNCV2024. CoRR abs/2409.15107 (2024)

[2] Yuanbing Zhu, Bingke Zhu, Yingying Chen, Jinqiao Wang: Uncertainty-Aware Boundary Attention Network for Real-Time Semantic Segmentation. PRCV (3) 2023: 388-400

[3] Xu Zhao, Wenchao Ding, Yongqi An, Yinglong Du, Tao Yu, Min Li, Ming Tang, Jinqiao Wang: Fast Segment Anything. CoRR abs/2306.12156 (2023)