OpenCV

【C++】OpenCVで実現するモーション解析：オプティカルフローと物体追跡の実践手法

2025-04-26更新日: 2025-04-26

C++とOpenCVを使ったモーション解析は、映像内の動きをリアルタイムに把握できる技術です。

Lucas-Kanade法やFarneback法で得られるオプティカルフローから、対象の動きの方向や速度をチェックでき、物体追跡にも役立ちます。

さらに、モーションヒストグラムを用いることで、動きの全体的な傾向を視覚的に確認できる点が非常に魅力です。

目次から探す

オプティカルフローによる動き検出

Lucas-Kanade法の特徴

基本と動きの捉え方

Lucas-Kanade法は、連続する画像間での小さな動きを滑らかに捉えやすい手法です。

映像中の注目すべき特徴点に注目し、動く点同士の関係がわかるように計算を行います。

画像全体ではなく局所的なウィンドウを使うので、細かい動きの変化にも柔軟に対応できます。

動作ベクトルの算出方法

各特徴点の動きを算出するために、前のフレームと最新フレームの輝度値の変化を基に計算を進めます。

ベクトルは特徴点ごとに求められ、移動方向と速度が反映されます。

なお、以下の数式

$I_{x} u + I_{y} v + I_{t} = 0$

は基本的な光学的流れの原理を示しており、 $I_{x}$ や $I_{y}$ は輝度の空間微分、 $I_{t}$ は時間微分にあたります。

パラメータ設定のポイント

Lucas-Kanade法の計算精度と速度はパラメータに大きく依存します。

ウィンドウサイズの調整
最大探索点数の設定
収束条件のしきい値設定

これらの値は、処理内容や対象となる動きの速さに合わせて変更する必要があります。

画像の解像度や動作環境に合わせた調整が求められます。

Farneback法のメリット

全体的な動きの把握

Farneback法は、画像全体の動きを対象に解析が可能なので、動きが大きい場合や複雑な背景がある場合もスムーズに計算できます。

画像全体に対して動向を求めるため、細部の変化だけではなく全体的な傾向が掴みやすくなります。

高精度解析の工夫

フーリエ変換や多段階のピラミッド処理を使用して、細部の動きまで正確に求める工夫がなされています。

計算結果は平滑化処理などを通して誤差の補正が行われ、動きの方向と大きさが視覚化されやすくなります。

また、パラメータによって解析の粒度を細かく調整することが可能です。

処理負荷とパフォーマンスの調整

高精度解析が可能な反面、計算量が多くなることもあるため、適切なパラメータの選定が重要です。

高速化のために画像サイズの縮小や並列処理を導入するなどの配慮が必要です。

調整のポイントは、解析精度と計算速度のバランスを保つことにあります。

物体追跡アルゴリズムの実践

Mean-Shift法での追跡手法

色ヒストグラムの活用

Mean-Shift法は、画像中の物体の色分布に基づくヒストグラムを利用します。

色分布により物体の特徴を抽出
ヒストグラムの類似性を測定することで追跡対象を決定

この特徴により、背景と対象の色が十分に異なる場合に高い追跡精度が期待できます。

ウィンドウ更新の仕組み

追跡対象が動くとその位置情報に合わせてウィンドウを更新します。

現在のウィンドウ内の色分布と元のヒストグラムの類似性を算出
類似性が最も高い位置を新たな追跡対象として採用

この仕組みは、追跡対象が大きく動いた場合でも一定の追跡精度を維持する工夫が見られます。

パラメータ調整の注意点

Mean-Shift法はシンプルな手法ながら、追跡窓の大きさや初期位置の設定に敏感です。

追跡窓のサイズ
色ヒストグラムのビン数
更新の頻度

これらをシステムに合わせて調整することで、安定した追跡が期待できます。

CamShift法の応用

サイズと形状変化への対応

CamShift法は、Mean-Shift法の拡張として対象物のサイズや形が変化しても対応できる特徴があります。

ウィンドウの大きさや向きが自動調整されるため、対象がカメラから離れたり近づいたりする場合でも軌跡を維持することができます。

自動調整機能の動作原理

自動で形状やサイズを調整するため、追跡対象の色ヒストグラムやモーメント情報を元に、ウィンドウの拡大縮小が実施されます。

特徴点の密集度に応じたウィンドウの変更
追跡対象の形状を解析して、楕円や矩形に合わせた調整

この仕組みは、動きの変化が多い実環境でも柔軟に動作するために役立ちます。

実行時の安定性確保

追跡の安定性を保つためには、画像の雑音や光量変化に対する耐性が求められます。

初期設定の最適化
連続フレームにおけるノイズ低減処理の追加

実行時の計算結果をフィードバックする仕組みを導入することで、追跡がより安定しやすくなります。

モーションヒストグラムの応用

動作履歴の管理

Motion History Image (MHI) の仕組み

MHIは、各フレームの動きの情報を時系列に蓄積し、過去の動作の履歴として保存します。

時系列画像として各フレームの動作情報を記録
古い動作情報は徐々に薄くなる仕様で、最新の動作が強調されます

時系列データの蓄積

動作履歴が蓄積されることで、一定時間内に発生した動きの全体像を把握することができます。

過去数秒間の動きを重ね合わせる
動作の方向や速度の変化を追跡可能

この方法により、瞬間的な動きだけでなく、全体の動作の傾向も分析しやすくなります。

全体的な動作分析方法

updateMotionHistory関数の役割

updateMotionHistory関数は、各フレームごとの差分画像を入力とし、MHI画像を更新します。

最新の動作情報をタイムスタンプと併せて記録
古い情報は自動的に消去される仕組みがあります

calcGlobalOrientation関数の活用

calcGlobalOrientation関数は、蓄積されたMHIデータをもとに、全体の動作の方向を算出します。

動きの大局的な方向を測定
方向ごとに強い動作がある場合に視覚的な表示が可能

定量評価のアプローチ

動画内の動作を定量的に解析するため、動作ベクトルの平均や分散などの統計的な評価を行います。

各フレームごとの動作値を集計する
統計情報をグラフや数値データとして出力

これにより、動作のパターンを数値化し、システム全体の挙動評価に役立てることができます。

リアルタイム解析の最適化

並列処理の実現

複数スレッドでの分担処理

大量の計算を行う場合、複数スレッドにより並列処理を実施することで、各フレームの解析速度を向上させます。

画像の分割処理
複数のスレッドが同時に解析を実行する仕組み

同期処理の工夫

並列処理を導入する際、各スレッド間の同期が大切になります。

ミューテックスやセマフォを利用した同期
同期によりデータの競合を防止する工夫

この工夫により、解析精度を損なわずにリアルタイム性能を向上させることが可能です。

メモリ管理とリソース最適化

効率的なバッファ利用法

画像処理では、使用するメモリを効率的に確保する工夫が求められます。

固定サイズバッファを利用して不要なメモリアロケーションを回避
必要なデータだけを保持する設計

リソース配分の最適化

リアルタイム解析では、CPUやGPUのリソース配分が重要な要素となります。

使用するハードウェアの特性に合わせた処理配分
負荷の分散によりシステム全体の安定動作を実現

この取り組みにより、解析処理の高速化と省メモリ化が図られる工夫があります。

最適化における課題と対策

処理遅延の対応策

フレーム間の遅延を最小限にするため、処理ループ全体の計算時間短縮が求められます。

不要な計算の省略
計算結果のキャッシュ利用

パフォーマンス指標の検討

最適化効果を数値化するため、各フレームあたりの処理時間やFPS(フレーム毎秒)などの指標を導入します。

フレームレートの定量評価
遅延発生時のログ管理

これらの対策により、リアルタイム解析システムの効率と安定性が向上します。

デバッグとパフォーマンス評価

動作結果の可視化手法

ベクトル表示のアプローチ

動作解析結果を画面に重ね合わせる際、特徴点の移動経路としてベクトルを描画します。

緑色の矢印や点の移動軌跡を表示
動作の方向性や速度を視覚的に確認

色分け表現の工夫

解析結果を色分けすることで、動作の強さや方向を明確にする手法が導入されます。

動作量に応じた色のグラデーション表示
異なる色で複数の物体の動きを区別

この方法により、視覚情報が豊かになり、調整や検証がしやすくなります。

解析精度と処理速度の評価

フレームレート計測の方法

システム全体のパフォーマンス確認のため、1秒間に処理できるフレーム数を計測します。

タイマー機能を用いたフレームレート算出
リアルタイム性能の評価指標として活用

誤検出防止の工夫

動作解析時に誤検出が起こると混乱を招くため、閾値設定やフィルタ処理の調整がおすすめです。

ノイズ除去フィルターの導入
過度な変動を抑えるための平滑化処理

データログによる検証

処理結果をログとして残すことで、後からデバッグや精度検証を行う際の参考になるように設計します。

時刻や処理内容を記録するログ機能
複数回の実験データの統計処理

これらの取り組みにより、解析システムの信頼性と安定性を定量的に評価しやすくなります。

応用事例と拡張可能な機能

監視カメラでの利用例

動体検知の実装例

監視カメラでは、対象エリア内の動きを検出するためにオプティカルフローや物体追跡アルゴリズムが用いられることが多いです。

下記のサンプルコードは、カメラからの映像を取得し、Lucas-Kanade法で動きを検出する例です。

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace cv;
using namespace std;
int main(){
    VideoCapture capture(0);  // カメラから映像を取得
    if(!capture.isOpened()){
        cerr << "カメラが開けません" << endl;
        return -1;
    }
    Mat prevFrame, currFrame, grayPrev, grayCurr;
    vector<Point2f> prevPoints, currPoints;
    capture >> prevFrame;
    cvtColor(prevFrame, grayPrev, COLOR_BGR2GRAY);  // グレースケール変換
    // 特徴点を検出する処理
    goodFeaturesToTrack(grayPrev, prevPoints, 100, 0.3, 7);
    while(true){
        capture >> currFrame;
        if(currFrame.empty()){
            break;
        }
        cvtColor(currFrame, grayCurr, COLOR_BGR2GRAY);
        vector<uchar> status;
        vector<float> err;
        // Lucas-Kanade法によるオプティカルフローの計算
        calcOpticalFlowPyrLK(grayPrev, grayCurr, prevPoints, currPoints, status, err);
        for(size_t i = 0; i < status.size(); i++){
            if(status[i]){
                // 動きのある点を緑色で表示
                circle(currFrame, currPoints[i], 3, Scalar(0,255,0), -1);
            }
        }
        imshow("Tracking", currFrame);
        if(waitKey(30) == 27){  // ESCキーで終了
            break;
        }
        // 次フレームのためにデータを更新
        prevPoints = currPoints;
        grayPrev = grayCurr.clone();
    }
    return 0;
}

Trackingウィンドウが起動
カメラの映像に緑色の点が重なり、動きが確認可能
ESCキーでプログラム終了

カメラを接続しているのに開けない場合、セキュリティソフトがアクセスをブロックしていることがあります。注意してください。

このコードは、カメラからの映像をリアルタイムで取得し、Lucas-Kanade法によって動きを追跡する仕組みが実装されています。

良い特徴点が追跡対象として選ばれ、各フレームごとに位置情報が更新される流れになっています。

利用条件の考慮事項

監視カメラのシーンでは、照明条件や環境ノイズなどが影響するため、各アルゴリズムのパラメータは環境に合わせて調整する必要があります。

照度変化に強い前処理の導入
動体以外のノイズの除去工夫

これらの工夫を通じて、実際の監視現場でも安定した動体検知が可能になります。

工場や自動検査システムでの実装

自動検査との連携方法

工場の生産ラインでは、連続的な動作解析によって不良品の検出や作業の改善が狙われます。

映像データをリアルタイムで解析し、異常検知を実施
分析結果を他のシステムに連携するための通信インターフェースの導入

生産ライン監視への適用事例

生産ラインで稼働するカメラから取得した動画を解析し、製品の動作に応じた検査が行われています。

動体検知と物体追跡を組み合わせる事例
異常動作が検出された場合のアラートシステムの実装

これらの手法は、現場の改善や効率化に直結するシステム構築に貢献します。

ロボットビジョンへの展開

動作経路追跡の実装例

ロボットの視覚システムでは、動作経路の追跡が重要な役割を果たします。

センサデータと映像情報を組み合わせて、ロボットの移動経路が正確に把握されます。

オプティカルフローと物体追跡アルゴリズムの統合
経路検証用のフィードバックループの実装

下記のサンプルコードは、ロボットが追跡対象の動きを検出し、移動経路を記録する仕組みの一例です。

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace cv;
using namespace std;
int main(){
    VideoCapture cap(0); // カメラ映像を取得
    if(!cap.isOpened()){
        cerr << "カメラが起動しません" << endl;
        return -1;
    }
    Mat prevFrame, currFrame, grayPrev, grayCurr;
    vector<Point2f> prevFeatures, currFeatures;
    cap >> prevFrame;
    cvtColor(prevFrame, grayPrev, COLOR_BGR2GRAY);
    // 特徴点検出
    goodFeaturesToTrack(grayPrev, prevFeatures, 50, 0.25, 5);
    while(true){
        cap >> currFrame;
        if(currFrame.empty()){
            break;
        }
        cvtColor(currFrame, grayCurr, COLOR_BGR2GRAY);
        vector<uchar> status;
        vector<float> err;
        calcOpticalFlowPyrLK(grayPrev, grayCurr, prevFeatures, currFeatures, status, err);
        for(size_t i = 0; i < status.size(); i++){
            if(status[i]){
                // 経路を示すために軌跡を描画
                line(currFrame, prevFeatures[i], currFeatures[i], Scalar(255,0,0), 2);
                circle(currFrame, currFeatures[i], 3, Scalar(0,0,255), -1);
            }
        }
        imshow("RobotVision", currFrame);
        if(waitKey(30) == 27){
            break;
        }
        prevFeatures = currFeatures;
        grayPrev = grayCurr.clone();
    }
    return 0;
}

RobotVisionウィンドウに青い線と赤い円で移動軌跡が表示
ESCキーを押すと終了できます

このサンプルでは、ロボット視覚システム向けに動作経路を記録する例を示します。

軌跡が視覚的に確認できるため、ロボットの進行方向や移動パターンの検証に利用しやすくなります。

協調動作のシステム統合

ロボットが複数台連携する際、個々の動作の情報を集約することで、全体の協調動作が実現されます。

各ロボットの映像データを統合
中央サーバで動作解析を実施し、統一した指令を送信

この仕組みは、工場内や危険作業現場などでの複数台連携システムに応用が可能となります。

まとめ

本記事では、オプティカルフローによる動き検出や物体追跡アルゴリズム、さらにモーションヒストグラムによる動作解析の各技法を柔らかい表現で紹介しました。

各手法ごとに計算方法、パラメータ設定、実行時の工夫などが豊富に含まれており、現実の監視カメラ、自動検査、ロボットビジョンなどのシーンでの実装例も示しました。

全体を通して、解析手法やデバッグ・最適化のポイントに触れながら、実用性の高い内容としたくする情報を提供できたと感じます。

以上の内容が、柔らかくも実践的なモーション解析の理解につながれば幸いです。

参考文献