눈 감고 풀어도 SOTA?

최신 비디오 AI의 높은 점수는 정말 ’영상 이해’에서 나온 걸까요?

이 논문은 기존 비디오 벤치마크의 55%가 영상이나 시간 맥락 없이도 풀릴 수 있다고 지적합니다.

벤치마크에 던진 세 가지 질문

Video-Oasis는 벤치마크 자체를 진단하는 스위트입니다.

• (a) 영상을 빼도 풀 수 있는가? — Visual Dependency Test
• (b) 프레임 순서를 섞어도 풀 수 있는가? — Temporal Dependency Test
• (c) 질문과 정답에 오류나 모호함은 없는가? — Ambiguity Verification

결과

Shortcut(꼼수)을 제거하자 모델 성능은 크게 떨어졌고, 진짜 비디오 이해의 어려움이 드러났습니다.