マシンラーニングと組み合わせて、人体の骨格モデルを取得するサービスが増えてきました。ここではjavascriptで実装した例を紹介。ただし動作速度はかなり遅いです。
JavaScriptで骨格を取得するには?
機械学習を使って人体の骨格モデルを写真や動画から算出するシステムが増えてきました。
骨格を取得
例えば人工知能でおなじみユーザローカルさんがリリースしたのは写真をアップすると、骨格情報と図形データをかえしてくれるAPIを公開しています。
ネクストシステムさんではAI骨格検出エンジン「VisionPose」をライセンスしています。
https://www.next-system.com/topics/release/post=6657
JavaScript版は?
ジャヴァスクリプトだけで実装しているのを探してみると、TensorFlow.jsを応用した事例がありました。
https://blog.tensorflow.org/2018/05/real-time-human-pose-estimation-in.html
ライブラリはこちら。
https://github.com/tensorflow/tfjs-models/tree/master/posenet
ライブデモはこちら。
https://storage.googleapis.com/tfjs-models/demos/posenet/camera.html
ライブデモを試して取得したスケルトンはこんな感じ。
ただしうちのPCでは1フレームあたりび4,5秒はかかります。
CPUはCorei5です。
動画のリアルタイム判定としては厳しいかなと思います。
他にまた面白そうなライブラリがありましたら更新したいと思います。