[연구의 필요성]
여러 task-specific 모델을 하나로 병합하는 멀티태스크 모델에서는 입력 데이터가 어떤 작업에 해당하는지에 따라 적절한 task-specific 지식을 선택하는 것이 중요하다. 그러나 기존의 dynamic model merging 방식은 입력의 task ID가 주어진다고 가정하거나 별도의 router를 학습하기 위해 많은 라벨 데이터와 추가 학습 과정을 필요로 한다. 이는 작업의 종류를 사전에 알 수 없는 실제 추론 환경에서 모델 병합의 효율성과 확장성을 제한하는 주요 요인이다.
[연구의 의미]
본 연구는 별도의 router 학습이나 추론 시 task ID 없이 입력이 어느 작업에 속하는지 판별하는 SiM 기반 training-free task classification 방법을 제안한다. 사전학습 모델의 특징 공간에서 각 작업의 소수 support sample을 이용해 SVD 기반 저차원 task manifold를 미리 구성하고, 새로운 입력 특징을 각 manifold에 투영했을 때 발생하는 residual을 비교하여 가장 적합한 작업을 선택한다. 이러한 task manifold는 모델 병합 이전에 오프라인으로 계산할 수 있으며, 소수의 예시만으로 구성 가능해 별도의 대규모 router 학습을 요구하지 않는다는 장점이 있다.
[연구 결과의 진행 상태 및 향후 계획]
SiM은 컴퓨터 비전과 자연어 처리의 task-unknown 환경에서 기존 병합 모델의 성능을 일관되게 향상시키고 개별 task expert와의 성능 차이를 감소시켰다. 또한 subspace 또는 mask 기반 병합 방식과 결합하여 전체 expert 모델을 모두 저장하지 않고 압축된 task 정보를 활용할 수 있어 메모리 효율성도 확보하였다. 향후에는 수백 개 이상의 작업으로 규모를 확대했을 때의 task manifold 구분 성능과, 기존 작업과 크게 다른 OOD 입력 또는 새로운 작업이 연속적으로 추가되는 환경에서의 적응 능력을 강화하는 연구로 확장할 수 있다.
국제 학회 논문:
Jungyong Son, Jinwook Jung, Sungyong Baik, "Training-Free Task Classification for Multi-Task Model Merging," ECCV 2026.
링크: https://eccv.ecva.net/virtual/2026/poster/4341
※ ECCV (European Conference on Computer Vision)는 인공지능 및 컴퓨터 비전 분야를 대표하는 세계 최고 수준의 국제 학회 중 하나임.
SiM 개념도