[연구의 필요성]
심층 신경망(Deep Neural Networks, DNN)을 지도 학습으로 훈련하려면 엄청난 양의 데이터와 정확한 주석이 필요하다. 이러한 데이터 수집의 한계를 극복하기 위해, 소량 데이터 기반 학습(few-shot learning)은 인간이 적은 예제로 새로운 작업을 빠르게 학습하는 능력에서 영감을 얻었다. few-shot 학습은 적은 데이터 환경에서도 새로운 작업을 학습하고 일반화할 수 있는 인공지능 시스템을 설계하는 것을 목표로 한다.
[연구의 의미]
본 연구는 few-shot 학습 문제를 해결하기 위해 메타 학습(meta-learning), 특히 최적화 기반 메타 학습을 사용한다. 기존 연구들은 주로 좋은 가중치 초기화(parameter initialization)를 학습하는 데 중점을 두었으나, 본 연구는 작업 적응을 위한 최적화 과정의 중요성에 주목했다. 이를 위해, 본 연구는 최적화 과정에서 적응형 학습 하이퍼파라미터(Adaptive Learning of Hyperparameters for Fast Adaptation, ALFA)와 적응형 손실함수(Meta-Learning with Task-Adaptive Loss Function, MeTAL)를 제안한다. ALFA는 학습률과 가중치 감소 계수를 동적으로 생성하여, 임의의 초기화에서 시작하더라도 각 작업에 효과적으로 적응할 수 있게 한다. MeTAL은 학습할 주어진 작업에 적합한 손실함수 자체를 동적으로 생성하여, 각 작업에 효과적으로 적응 및 학습할 수 있게 한다. 초기값 학습에 집중한 기존 연구들과 달리 학습 파라미터 및 손실함수로 이루어진 최적화 과정 자체를 동적으로 생성함으로써 월등한 few-shot 학습 능력을 이룬 획기적인 방법론이다.
[연구 결과의 진행 상태 및 향후 계획]
본 연구는 좋은 초기화를 학습하는 것만큼이나 좋은 가중치 업데이트 규칙 및 손실함수를 학습하는 것이 중요함을 시사한다. ALFA와 MeTAL은 기존의 좋은 초기화를 학습하는 메타 학습 접근법과 함께 적용될 수 있으며, 본 연구의 확장된 실험 결과는 제안한 방법론 ALFA와 MeTAL이 시각 추적과 비디오 프레임 보간과 같은 더 실질적인 컴퓨터 비전 문제에서도 유효함을 검증하였다. 향후 연구에서는 ALFA와 MeTAL의 적용 범위를 더욱 확장하고, 다양한 실제 문제에 대한 효과성을 추가로 검증할 계획이다.
[성과와 관련된 실적]
Sungyong Baik, Myungsub Choi, Janghoon Choi, Heewon Kim, and Kyoung Mu Lee. "Learning to Learn Task-Adaptive Hyperparameters for Few-Shot Learning," TPAMI 2024 (금주의 우수논문).
Sungyong Baik, Janghoon Choi, Heewon Kim, Dohee Cho, Jaesik Min, and Kyoung Mu Lee. "Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning," ICCV 2021 (Oral Presentation, top 3%).
Sungyong Baik, Myungsub Choi, Janghoon Choi, Heewon Kim, and Kyoung Mu Lee. "Meta-Learning with Adaptive Hyperparameters," NeurIPS 2020.
※ TPAMI (IEEE/CVF Transactions on Pattern Analysis and Machine Intelligence)은 컴퓨터공학을 구성하는 분야 중 하나인 “컴퓨터 비전 (Computer Vision; CV)” 분야 및 "인공지능 (Artificial Intelligence; AI)" 분야와 "기계학습 (Machine Learning; ML)" 분야를 대표하는 세계 최고 수준의 국제 저널임 (전체상위 5%, Impact Factor: 24), (Google Scholar "Computer Vision & Pattern Recognition" 분야 저널 & 학회 랭킹에서 Top 56 그리고 전 분야에서 Top 4).
※ ICCV (IEEE International Conference on Computer Vision)은 컴퓨터공학을 구성하는 분야 중 하나인 “컴퓨터 비전 (Computer Vision; CV)” 분야 및 "인공지능 (Artificial Intelligence; AI)" 분야와 "기계학습 (Machine Learning; ML)" 분야를 대표하는 세계 최고 수준의 국제 학회임(Google Scholar "Engineering & Computer Science" 분야 저널 & 학회 랭킹에서 Top 11 그리고 전 분야에서 Top 26).
※ NeurIPS (Neural Information Processing Systems)은 컴퓨터공학을 구성하는 분야 중 하나인 "인공지능 (Artificial Intelligence; AI)" 분야와 "기계학습 (Machine Learning; ML)" 분야를 대표하는 세계 최고 수준의 국제 학회임 (Google Scholar "Engineering & Computer Science" 분야 저널 & 학회 랭킹에서 Top 3 그리고 전 분야에서 Top 9).