홀로렌즈2 기반 손동작 인식 연구를 위한 손 영상 분할

초록

최근 산업분야에서 활용성이 높은 홀로렌즈2 기기(Hololens2, Microsoft)는 다양한 상황에 적용될 수 있는 손동작 인식 연구에 활용된다. 하지만 홀로렌즈2 원본 데이터는 배경을 포함한 원형의 이미지이므로 손동작 인식 모델 학습 시 모델 성능을 저하시킨다. 본 논문에서는 이와 같은 홀로렌즈2 원본 데이터의 문제점을 해결하기 위해, 영상분할 기법을 제안하고 본 전처리 기법에 따른 손동작 인식 성능을 확인한다. 제안하는 영상분할 기법은 다음과 같다. 원본 데이터의 거리 정보를 이용하여 배경을 제거한 뒤, 픽셀 값의 변화량을 기준으로 물체들의 경계를 나누고 군집화 하여 가장 큰 면적을 가지는 손 형태를 분리한다. 영상분할이 인식 성능을 향상시키는지 검증하기 위해 CNN 기반 손동작 인식 모델인 C3D와 CNN+transformer를 사용한다. 본 기법을 사용했을 때, 각 모델에서 17.4%, 0.2% 성능 향상을 보인다.