[연구의 필요성]
가상현실(VR)의
급속한 발전으로 인해 의료, 교육 등 다양한 분야에서 VR 도입이
확산되고 있으며, 이에 따라 사용자에게 몰입감과 만족스러운 경험을 제공하는 것이 점점 중요해지고 있다. 그러나 사이버멀미는 사용자 경험을 방해하는 주요 요인 중 하나이다. 최근에는
딥러닝 기술을 활용한 사이버멀미 예측 연구가 활발하다. VR 사용자는 시각, 청각 등 다양한 감각 입력을 통해 가상 환경과 상호 작용하므로, 사이버멀미를
예측하기 위해서는 이러한 다양한 감각 신호 간의 상호 작용을 효과적으로 학습하고 통합하는 것이 필요하다. 그러나
사이버멀미 모델링 연구들은 감각 신호 간의 복잡한 시간적 및 공간적 상호작용을 충분히 고려하지 않았다. 따라서
본 연구에서는 멀티모달 시계열 센서 데이터를 활용하여 트랜스포머 기반의 사이버멀미 예측 모델을 제안한다.
[연구의 의미]
본 연구는 멀티모달 시계열
센서 데이터를 딥러닝 모델에 적용할 때 고려해야 할 데이터의 형태(정규화된 데이터, 스펙트로그램)에 따른 두 가지 주요 트랜스포머 기반 방법론을 제안하였다. 두 가지 방법론은 기존 사이버멀미 예측 모델과의 비교하여 가장 높은 성능을 보였다. 또한, attention weight을 활용하여 시간적 관점에서
데이터의 중요도를 분석함으로써, 특정 시간적 포인트에서 사이버멀미와 높은 관련성을 지니는 데이터를 확인하였다. 본 연구의 결과와 멀티모달 시계열 센서 데이터 및 트랜스포머 모델에서 얻은 통찰은 사이버멀미와 센서 데이터
간의 포괄적인 이해를 제공하는 데 의미를 가진다.
[연구결과의 진행 상태 및 향후 계획]
본 연구는 45명의 참여자를 대상으로, 개인당 20개의 VR 비디오 시청 동안 수집된 멀티모달 센서 데이터(눈 움직임, 머리 움직임, 생체 신호)를
활용하여 모델을 학습하였다. 두 가지 트랜스포머 기반 사이버멀미 예측 모델을 통해 정규화된 데이터를
활용할 때 더 효과적인 예측이 가능함을 확인하였다. 정규화된 데이터를 활용한 모델을 기반으로 데이터
중요도를 분석한 결과, 사용자의 좌우 및 앞뒤 눈 움직임과 좌우 머리 움직임은 VR 콘텐츠 탐색의 초기 시간대에 활성화되었으며, 피부전도도는 모든
시간적 포인트에서 지속적으로 활성화되었다.
향후 연구에서는 본 연구에서 확인된 사이버멀미와 관련성이 높은 데이터를 기반으로 센서 데이터를 LLM에 적용할 가능성을 모색하고 실제 VR 콘텐츠에 모델을 탑재하여 적용 가능성 및 효과성을 검증할 계획이다.
- 발표 영상: https://www.youtube.com/watch?v=GsztMrbyV1M
- GitHub: https://github.com/dayoung-jeong/PRECYSE
[성과와 관련된 실적]
국제 학회 논문:
- Dayoung Jeong and Kyungsik Han. “PRECYSE: Predicting Cybersickness using Transformer for Multimodal Time-Series Sensor Data,” ACM IMWUT (UbiComp 2024).
※ ACM IMWUT (The Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies)은 컴퓨터공학을 구성하는 분야 중 하나인 “유비쿼터스 컴퓨팅 (Ubiquitous Computing; UbiComp)” 분야를 대표하는 세계 최고 수준의 국제 학회임.
그림 1. Modality-specific spatial and temporal transformer encoders for
nomalized sensor data (MS-STTN)의 구조. (a) Spatial
transformer encoder (STE)는 센서 신호 간의 상호작용 특성을 학습하고, (b)
MS-STTN은 각 모달리티의 시간적 및 공간적 특성을 학습하고, (c) temporal
transformer encode (TTE)는 센서 데이터의 시간적 특성을 학습한다.
그림2. 학술대회
발표 사진(UbiComp 2024)