计算机视觉是人工智能重要的技术领域之一。每年，国内外都会举办众多的计算机视觉学术或者行业大会，其中，计算机视觉与模式识别国际会议（IEEE CVPR）、国际计算机视觉大会（ICCV）以及欧洲计算机视觉国际会议（ECCV）是最为知名的三大顶会。
在全球专家学者交流研讨的同时，这些顶会还会举办系列挑战赛，全球众多顶尖团队积极报名参赛，在计算机视觉的各个细分领域同台“论剑”，一争高下。
6月下旬举办的CVPR大会也不例外。在本次大会组织的各项计算机视觉挑战赛中，联想研究院团队共斩获6项冠军，包括：
- 第一人称视角与外界视角融合的4D视觉挑战赛（Ego4D and EgoExo4D Challenge）社交互动（Looking At Me）赛道冠军；
- 第一人称视角与外界视角融合的4D视觉挑战赛（Ego4D and EgoExo4D Challenge）手部姿态估计（Hand Pose）赛道冠军；
- 自动驾驶ARGOVERSE挑战赛3D物体检测（3D Object Detection Challenge）赛道冠军；
- 自动驾驶ARGOVERSE挑战赛3D多目标跟踪（3D Multi-Object Tracking Challenge）赛道冠军；
- 自主系统挑战赛（Autonomous Grand Challenge, AGC）具身多模态三维视觉定位(Multi-View 3D Visual Grounding)赛道冠军，并拿下最具创新奖；
- 人工智能城市挑战赛（AI City Challenge）多相机多行人跟踪（Multi-Camera Multi-People Tracking）赛道冠军。
其中，研究院PC创新与生态系统实验室团队收获前四项冠军，而人工智能实验室和清华大学、以及与上海交通大学的两个联合团队分别拿下自主系统挑战赛具身多模态三维视觉定位冠军和最具创新奖，以及AI CITY挑战赛多相机多行人跟踪赛道冠军。
第一人称视角与外界视角融合的4D视觉挑战赛（Ego4D and EgoExo4D Challenge）
Ego4D数据集是一个大规模的以自我为中心的视频数据集和基准套件。它提供3670小时的日常生活活动视频，涵盖数百种场景(家庭，户外，工作场所，休闲等)，由来自全球74个地点和9个不同国家的931名独特的相机佩戴者（camera wearer）拍摄。
Ego-Exo4D数据集则是一个多样化的、大规模的多模式多视角视频数据集和基准套件。Ego-Exo4D同时捕捉以自我为中心和以外部为中心的，大众熟悉的人类活动视频（例如，体育、音乐、舞蹈、自行车修理等）。
基于这两个数据集，CVPR2024提出了一系列新的基准挑战，这些挑战围绕着理解第一人称视觉体验展开。联想研究院PC创新与生态系统实验室团队收获了其中的社交互动（Looking At Me）赛道和手部姿态估计（Hand Pose）赛道两项冠军。
社交互动（Looking At Me）挑战
在社交互动（Looking At Me）赛道，团队以80.91 mAP（mean Average Precision，平均精度均值）的成绩获得了挑战赛第一名。
社交互动是人类行为理解的关键。通过获取以自我为中心的视频数据,我们可以获得一种独特的视角,捕捉到每个参与者的言语交流和非语言线索。这种技术为研究社交互动提供了宝贵的信息源,有助于深入理解人类的社交行为。未来，这种技术有望推动虚拟助理和社交机器人的发展,使其能够更好地融入人类的社交环境，提供更智能、更贴心的交互体验。通过分析社交互动的细微信号，我们可以培养出更富同理心和社交智慧的人工智能系统，使其能够更自然地与人类进行沟通互动。
比如该技术可以用来检测家庭成员情绪状态，并为其提供建议或播放音乐等缓解情绪，具备情境理解与响应能力。再比如，当检测到厨房的烟雾报警器响起时，它不仅能即时通知家庭成员，还能自动联系紧急服务，并指导家中的儿童安全撤离。
在该挑战中，参与者获得了一段视频，其中包含了已被定位和识别的社交伙伴的人脸，并对每个可见的人脸进行分类，判断它们是否都在看向相机佩戴者。由于场景中人与摄像机之间的距离，以及人体的运动，导致了人脸图像的模糊，使得这项任务具有很高的挑战性。
面对这项挑战，团队提出了由一个InterVL图像编码器和Bi-LSTM网络组成的InternLSTM解决方案。InternVL负责提取空间特征，Bi-LSTM提取时间特征。为了解决任务的复杂性，我们引入了平滑滤波器，以消除输出的噪声或尖峰。
