Human Pose Estimation

개념

사람의 관절, 신체부위 등을 key point로 지정하여 사람의 자세를 예측하는 기술

방식

• Bottom-up : 상향식정확도는 top-down 방식에 비해 떨어지지만 detection 과정이 없어 빨라 real - time 에 적용하기 용이
  • 대표적 오픈소스 : Openpose
  • 영상에서 관절을 모두 추출하고, 관절간의 관계를 분석하여 자세를 추정하는 방법

 

• Top down : 하향식multi-person의 경우 detection된 사람마다 crop하여 포즈를 추정하므로 느리다는 단점이 있음대표적 오픈소스 : AlphaPose, Mask-RCNN(Detectron)
  • 정확도는 비교적 높은 편
  • 영상에서 사람을 찾고, 바운딩박스 내부에서 자세를 추정하는 방법
  • AlphaPose는 multiperson에 대해서 object detection, tracking, pose estimation을 real - time으로 가능

GitHub - MVIG-SJTU/AlphaPose: Real-Time and Accurate Full-Body Multi-Person Pose Estimation&Tracking System

 

적용

• 데이터셋 : MPII Human Pose, Leeds Sports Poses, FLIC, ITOP, DensePose-COCO, COCO
  • Coco : 15 key points
• 성능평가PCKh : using head size instead of bounding box size
  • PCK : Percentage of Correct Keypoint

 

활용

메타버스 : 사람의 움직임을 메타버스로 투영

헬스케어, 스포츠, VR/AR 등

 

오픈소스

GitHub - open-mmlab/mmaction2: OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark

여전히 mm은 어렵다. 한 번 마스터하면 mmaction, detection 등 이용할  수 있는 게 많아보이는데..

 

---

AI hub에 있는 태권도 데이터를 이용해서 태권도 품새를 배울 수 있는 웹을 만들어보려고 pose estimation을 찾아봤는데

최종적으로 원하는 것은 웹캡으로 사람을 찍으면 사람의 자세를 인식하고, 자세가 맞는지, 품새순서에 맞는지 확인해주는 것이었는데

찾아보면서 헷갈렸던 점은 action recognition, action detection, pose estimation 의 개념이었다

pose estimation은 단순히 keypoint만을 찾아주는 것 같았고, 영상에서 사람의 행동을 인식하고 분류하려면 tracking, video understanding, pose estimaion 등등 필요한 게 많았다.

mmaction에서 찾은 것은 STGCN으로 skeleton based action recognition 이었다.

아직 실제 데이터로 돌려보진 않았지만 기술을 찾아보면서 필요한 기술들은 전부 있다고 생각하는데, 

데이터를 자세히 보니 또 영상데이터가 아니라 이미지데이터여서 조금 더 자세히 보고 조사해봐야할 것 같다.