[연구의 필요성]
기존의 제로샷 도메인 적응(Zero-shot domain adaptation)연구들은 주로CLIP의 언어-임베딩 능력을 활용하여 텍스트 설명을 통해 목표 도메인과 유사한 스타일 특징을 생성하는 방식을 사용했습니다. 하지만 이러한 텍스트 기반 방법들은 단순하고 고정된 설명에 의존하기 때문에 실제 환경의 복잡하고 다양한 스타일 변화 포착에 어려움이 있습니다. 또한, 각 소스 이미지마다 별도의 최적화 과정이 필요하여 적응 시간이 오래 걸리는 비효율성의 문제가 있었습니다.
[연구의 의미]
본 연구에서 제안하는 SIDA(Synthetic Image Driven Zero-shot Domain Adaptation)는 텍스트 설명 대신 합성 이미지를 활용하여 이러한 한계를 극복하는 새롭고 효율적인 제로샷 도메인 적응을 제안합니다. SIDA는 먼저 소스 이미지와 유사한 상세한 합성 이미지를 생성한 뒤, 이미지 변환 기술을 적용해 목표 도메인의 스타일을 반영합니다. 이후 Domain Mix와 Patch Style Transfer모듈을 통해 실제와 유사한 전역적, 지역적 스타일 변화를 효과적으로 모델링합니다. 이 방식은 적은 수의 합성 이미지만으로도 실제 환경의 다양한 스타일을 시뮬레이션하여, 기존 방식보다 효율적으로 도메인 적응을 수행할 수 있게 합니다.
[연구 결과의 진행 상태 및 향후 계획]
SIDA는 다양한 제로샷 도메인 적응 시나리오에서 기존의 텍스트 기반 방법들(PØDA, ULDA)을 능가하는 우수한 성능을 보였습니다. 특히, 데이터 확보가 어려워 제로샷 적응이 필수적인 '화재'나'모래폭풍'과 같은 까다로운 환경에서도 높은 성능을 달성하여 그 효과성을 입증했으며 기존 방식 대비 최대 약200배 빠른 학습시간을 보였습니다. 이는 합성 이미지를 기반으로 한 접근법이 복잡한 목표 도메인의 특징을 효과적으로 표현할 수 있음을 보여줍니다.
[성과와 관련된 실적]
국제 학회 논문:
Ye-Chan Kim, SeungJu Cha, Taewhan Kim, Si-Woo Kim, Dong-Jin Kim, “SIDA: Synthetic Image Driven Zero-shot Domain Adaptation”, ACM International Conference on Multimedia (ACM MM), 2025.
그림 1. SIDA 전체 구조도
그림 2. SIDA 결과