BlazePalm手掌检测与骨架估计：虚拟合成数据助力2.5D信息输出

MediaPipe Hands: On-device Real-time Hand Tracking，2020

文章目录

• Abstract Introduction Architecture BlazePalm Detector Hand Landmark Model Dataset and Annotation Results Implementation in MediaPipe Application examples Conclusion
  
    自说自话：
   
• 双阶段，手掌检测 + 关键点定位，多只爪爪；
• 通过合成的手部数据训练得到各个关键点的远近关系，输出 2.5 D 信息，x，y，和 depth；
• 手掌检测而不是全手检测，能够降低问题复杂度。

Abstract

• 移动端实时 hand tracking，能够提供手部骨架；
• 两个模型：hand detector and hand landmark model；
• 实现通过 MediaPipe，一种构建交叉平台的 ML 方案。

Introduction

以往的手部 姿态估计 工作中，有的需要特殊的硬件，有的不够轻量用于移动端。

   本文贡献：

• two-stage 的 hand tracking，可以在移动端实时地追踪多只手；
• 输入 RGB 图像，输出 2.5 D 的手部姿势；
• 可以在多平台部署，包括安卓、IOS 还有 Web。

Architecture

Two-stage：

• palm detector，在全图范围内执行手掌检测；
• hand landmark model，在上面得到的手掌区域内做关键点检测，并且返回 2.5D 的结果。
  
      如下图 1 左图，越靠近摄像机，圆圈就越白越大。

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删