[연구의 필요성]
여러 작업에 특화된 모델을 하나의 멀티태스크 모델로 병합하면 저장 및 운영 비용을 줄일 수 있으나, 서로 다른 작업의 파라미터가 결합되는 과정에서 발생하는 parameter interference로 인해 병합 모델이 개별 task expert보다 낮은 성능을 보이는 문제가 존재한다. 이를 해결하기 위한 동적 모델 병합 방식도 제안되고 있지만, 추론 과정에서 다수의 expert 파라미터 또는 구성 요소를 함께 저장하고 불러와야 하므로 메모리와 계산 비용이 증가하는 한계가 있다.
[연구의 의미]
본 연구는 병합 방법 자체를 지속적으로 개선하는 대신, 이미 생성된 하나의 병합 모델로부터 원래의 task expert 성능을 복원하는 ReTeX(Recover Task eXpert) 프레임워크를 제안한다. 모델 병합으로 발생하는 parameter interference를 각 expert 파라미터에 가해진 perturbation으로 해석하고, 이를 affine transformation 및 additive offset으로 근사하여 해당 offset을 예측·보정함으로써 task expert를 복원한다. 또한 입력의 task ID를 알 수 없는 상황에서는 사전에 계산한 SVD 기반 task subspace signature와 입력 특징 사이의 projection residual을 이용해 적절한 작업을 자동으로 식별한다.
[연구 결과의 진행 상태 및 향후 계획]
ReTeX는 컴퓨터 비전과 자연어 처리 실험에서 개별 task expert 성능의 95% 이상을 복원하였으며, 하나의 병합 체크포인트를 기반으로 하면서도 기존 병합 모델과 expert 간의 성능 격차를 크게 감소시켰다. 또한 학습 과정에서 직접 다루지 않은 OOD 작업에 대해서도 여러 expert의 지식을 적응적으로 활용할 가능성을 확인하였다. 향후에는 더 많은 수의 작업과 대규모 언어모델을 포함한 다양한 아키텍처에서 expert 복원 능력을 검증하고, 복원에 필요한 추가 파라미터와 연산 비용을 더욱 경량화하는 방향으로 확장할 수 있다.
국제 학회 논문:
Jinwook Jung, Taegyu Kim, Kumju Jo, Sungyong Baik, "Learning to Recover Task Experts from a Multi-Task Merged Model," ECCV 2026.
링크: https://eccv.ecva.net/virtual/2026/poster/3618
※ ECCV (European Conference on Computer Vision)는 인공지능 및 컴퓨터 비전 분야를 대표하는 세계 최고 수준의 국제 학회 중 하나임.