[연구의 필요성]
딥러닝 기반의 의미적 분할(semantic segmentation)은 높은 성능을 보이지만, 데이터셋 마스크 레이블을 확보하기 위해서는 픽셀 단위의 주석(annotation) 작업이 매우 많은 시간과 노력이 필요하다. 최근 Stable Diffusion과 같은 텍스트 기반 생성 모델로 이미지와 마스크 레이블을 동시에 생성해 인공적으로 데이터셋을 만드는 방법이 등장했으나, 기존 연구들은 추가적인 사전 학습된 세그멘테이션 네트워크, 세부적인 프롬프트 튜닝, 별도의 학습 과정이 필요했다. 이는 새로운 세팅에 바로 적용하기 어려운 한계가 따른다. 따라서 추가적인 학습 없이 높은 품질의 마스크를 생성할 수 있는 방법이 필요하다.
[연구의 의미]
본 논문은 Stable Diffusion 모델의 cross-attention (CA)과 self-attention (SA) 메커니즘을 분석하여, 이를 고전적인 시드 기반 세그멘테이션(seeded segmentation) 기법과 연결하여 새로운 마스크 생성 방법인 SeeDiff를 제안하였다. SeeDiff는 CA 맵에서 초기 객체 위치를 식별(시드 추출)하고, SA 맵을 이용하여 반복적으로 객체의 전체 영역으로 확장하여 고품질의 세밀한 마스크를 생성한다. 추가 학습, 프롬프트 튜닝, 혹은 사전 훈련된 세그멘테이션 모델을 필요로 하지 않아 효율적이고 범용적으로 적용 가능한 방법이다.
[연구 결과의 진행 상태 및 향후 계획]
본 연구에서 제안한 방법(SeeDiff)은 기존 Stable Diffusion 기반 방법들보다 픽셀 수준의 마스크 품질이 뛰어나며, 생성된 데이터를 이용해 학습한 세그멘테이션 네트워크가 실제 데이터를 사용한 학습보다 우수한 성능을 보였다. 특히 새로운 클래스를 학습하는 데도 강력한 일반화 성능을 보였다. 향후에는 본 방법을 더욱 발전시켜 다양한 분야에 적용하여서 성능 향상을 목표로 하고 있다.
[성과와 관련된 실적]
국제 학회 논문:
Joonhyun Park, Kumju Jo, Sungyong Baik, "SeeDiff: Off-the-Shelf Seeded Mask Generation from Diffusion Models," AAAI 2025.
※ AAAI (AAAI Conference on Artificial Intelligence)는 컴퓨터공학을 구성하는 분야 중 하나인 "인공지능 (Artificial Intelligence; AI)" 분야와 "기계학습 (Machine Learning; ML)" 분야를 대표하는 세계 최고 수준의 국제 학회임 (Google Scholar "Engineering & Computer Science" 분야 저널 & 학회 영향령지수 랭킹에서 Top 13 그리고 전 분야에서 Top 35).