골프 동작 분석 방법 및 장치

배경 기술

골프는 어드레스부터 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루, 피니쉬에 이르는 각 동작의 자세 정확성이 요구되는 운동으로, 정확한 자세 습득을 위해서는 반복적인 연습과 교정이 필요합니다. 최근 뎁스 카메라를 이용한 골프 동작 분석 시스템이 도입되고 있으나, 기존 기술은 고성능 컴퓨팅 장비가 필요해 비용·효율 측면에서 상용화에 한계가 있었고, 신체가 겹치는 부분(예: 정면 촬영 시 어드레스 자세에서 팔과 상체가 겹치는 부분)에서 신체 부위를 정확히 분리하지 못하거나 팔의 굽혀진 각도를 정확히 인식하지 못하는 문제가 있었습니다.

해결 과제

딥러닝 기술을 이용하여 사용자의 몸체에 대한 스켈레톤 정보와 함께 골프 클럽에 대한 스켈레톤 정보를 추출함으로써, 신체가 가려진 부분의 관절 위치까지 추론 가능한 골프 동작 분석 방법 및 장치를 제공하고자 합니다.

구성 및 원리

1. 학습 단계: 골프 동작을 촬영한 제1 학습용 골프 영상과, 이에 기초해 생성된 미리 정의된 관절 정보가 포함된 스켈레톤 영상(제2 학습용 골프 영상)을 이용해 인공 신경망 모델을 학습시킵니다. 이때 골프 클럽 상에도 미리 정의된 관절(그립 끝 지점, 샤프트 중앙, 헤드, 샤프트 헤드쪽 단부 등 4개 관절)을 함께 학습시킵니다.
2. 입력 단계: 분석하고자 하는 사용자의 골프 동작을 촬영한 제1 골프 영상을 입력받습니다.
3. 스켈레톤 영상 생성: 학습된 인공 신경망 모델(CNN/RNN 기반)에 기초하여 제1 골프 영상으로부터 미리 정의된 관절이 표시된 스켈레톤 영상(제2 골프 영상)을 생성합니다.
4. 동작 분석: 제2 골프 영상에 표시된 관절 중 분석 대상 관절을 추출하고, 좌표값을 이용해 각 구분 동작(어드레스, 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루, 피니쉬)별로 절대/상대 위치, 이동 방향, 속도, 궤적 등을 분석합니다.
5. 가려진 관절 추론: 연속된 프레임 영상에 표시된 관절 위치 정보에 기초해 신체가 겹쳐 영상에 나타나지 않는 관절의 위치도 추론 가능합니다. 예를 들어 백뷰 시점 팔로우스루 동작에서 몸에 가려진 손이나 클럽 궤적을 추적할 수 있습니다.
6. 다양한 촬영 방식 지원: 특정 시점의 2차원 영상, 서로 다른 시점의 복수 2차원 영상, 또는 3차원 영상 각각에 대응하는 인공 신경망 모델 구성이 가능하며, 필요 시 영상 변환부를 통해 2차원-3차원 상호 변환도 지원합니다.

효과

• 신체가 겹쳐 영상에 나타나지 않는 부분에 대해서도 스켈레톤 관절 좌표 추출이 가능합니다.
• 사용자 신체뿐 아니라 골프 클럽의 스켈레톤 좌표를 함께 추출하여, 신체와 클럽의 상호 위치 관계 및 클럽의 움직임(헤드 속도, 궤적, 샤프트 휨 정도, 임팩트 시 헤드 열림/닫힘 상태 등)까지 분석 가능합니다.
• 고성능 뎁스 카메라 없이도 일반 카메라 기반으로 저비용 구현이 가능합니다.