OpenCV

【C++】OpenCVで実現するステレオビジョン技術：視差マップから3D認識まで

2025-04-22更新日: 2025-04-22

C++とOpenCVを活用したステレオビジョンは、左右画像から対応点を求め、視差マップに基づいて3次元情報を取得する技術です。

視差を元に対象物までの距離や奥行きを測定でき、自動運転やロボット技術など様々な分野で活用されています。

計算処理はcv::StereoBMやcv::StereoSGBMを用いる方法があります。

目次から探す

ステレオビジョンの基本

ステレオビジョンの仕組みと目的

ステレオビジョンは、2台のカメラで撮影した左右の画像から3次元の情報を取得する技術です。

各カメラが捉える被写体の位置がわずかに異なるため、その差分(視差)を元に深度情報を導き出す仕組みになっています。

左右の画像情報を統合することで、物体の距離や形状、位置関係が再現できるため、ロボットの自律移動や自動運転、3次元計測など幅広い分野に応用されています。

左右画像の役割と視差の考え方

左右のカメラがそれぞれ異なる角度から映像を捉えることで、同一対象の映像に微妙なズレが生じます。

このズレを視差と呼び、視差の大きさは対象物までの距離と反比例する傾向があります。

視差が大きいと対象に近く、視差が小さいと対象が遠いと推定する仕組みです。

視差マップでは各画素ごとに視差値を割り当て、全体の情報をもとに3次元構造が表現されるようになります。

カメラキャリブレーションと配置

キャリブレーションプロセス

カメラキャリブレーションは、各カメラの撮影特性を正確に把握するための重要な処理です。

キャリブレーションを行うことで、歪みやレンズ特性、焦点距離などのパラメータが明確になり、後続の処理で正確な3D再構成が可能になります。

内部パラメータの取得

内部パラメータは、カメラ固有の焦点距離、光学中心座標、歪み係数などを含みます。

これらのパラメータは、定型的なチェッカーボード画像を撮影して得たコーナー検出結果を用い、OpenCVのキャリブレーション関数で計算することが多いです。

正確な内部パラメータが取得できると、画像の歪み補正がスムーズに実施されます。

外部パラメータの導出

外部パラメータは、各カメラ間の相対位置や向きを表す回転行列と並進ベクトルを含みます。

これらのパラメータによって、左右カメラの間で共通の3D空間上に画像情報を配置することができるため、正確な視差計算や3D再構成が実現できます。

外部パラメータは、左右画像間の対応点を用いて求める手法が一般的です。

カメラ配置の注意点

ベースラインの設定

ベースラインは、2台のカメラ間の物理的な距離を示すパラメータです。

被写体との距離や再構成の精度を考慮し、適切な距離に設定する必要があります。

ベースラインが広すぎる場合には視差が大きくなりすぎ、狭すぎると精度が低下するため、用途に合わせた調整が求められます。

水平・垂直整列の重要性

左右のカメラは、できるだけ水平かつ垂直に整列させることが望ましいです。

カメラの角度がずれてしまうと、キャリブレーションの精度が低下し、後続のレクティフィケーション処理で不具合が生じる可能性があります。

正確な整列により、再構成時のエッジや輪郭のズレを最小限に保つことが可能です。

画像前処理とレクティフィケーション

画像前処理の基本操作

グレースケール変換とノイズ除去

取得した画像は、カラー画像の場合でもグレースケールへ変換することで、計算コストを抑えることができます。

特に視差計算においては、輝度情報のみで対象物の特徴が十分に表現されるため、グレースケール変換が有効です。

また、画像に含まれるノイズを除去するために、メディアンフィルタやガウシアンフィルタを適用することで、視差計算の精度が向上します。

画像フィルタリングの選択肢

画像の前処理では、以下のようなフィルタリング手法が利用可能です。

ガウシアンブラー：画像ノイズを平均化して除去する
メディアンフィルタ：エッジを保持しながらノイズ除去ができる
バイラテラルフィルタ：エッジ情報を維持しながら平滑化処理を行う

これらのフィルタリング手法を用途に応じて選択することが、安定した視差計算につながります。

レクティフィケーション処理

左右画像の整列手法

レクティフィケーション処理は、左右画像の対応点が同一水平線上に配置されるように変換する方法です。

これにより、視差計算が効率的に行え、誤差が抑えられます。

エピポーラ幾何学に基づいて行われるため、キャリブレーションで導出した内部・外部パラメータが大いに役立ちます。

処理精度向上の工夫

レクティフィケーションでは、画像の平行度や視差の一貫性を評価し、パラメータを微調整する工夫が必要です。

例えば、無駄な回転が入らないように回転行列の正規化を行ったり、変換行列に小さな誤差がないか確認したりする方法があります。

マトリックス変換の具体例

左右画像のレクティフィケーションには、Homography(射影変換)を用いる場合があります。

具体例として、次のような変換マトリックスが考えられます。

$H = [\begin{matrix} a & b & c \\ d & e & f \\ g & h & i \end{matrix}]$

この変換により、画像の幾何学的な歪みが補正され、左右画像が対応する直線状に並ぶようになります。

画像解像度とスケーリングの影響

処理速度と精度のトレードオフ

高解像度の画像は細かな情報を保持するため、視差計算の精度が向上しやすいです。

しかし、その分、計算負荷が大きくなり、処理速度が低下する傾向にあります。

逆に低解像度の画像を使用すると、計算速度は向上するものの、精度が犠牲になることがあります。

解像度とスケーリングの選択は、用途やハードウェア性能に合わせてバランスを取る必要があります。

ステレオマッチング手法

ブロックマッチング (StereoBM)

アルゴリズムの概要

ブロックマッチングは、定型的な窓(ブロック)を左右画像においてスライドさせ、類似度が高い部分を探索する手法です。

計算負荷が比較的低く、リアルタイム処理にも対応できる点が魅力です。

対象領域ごとにブロックを設定し、各ブロック間での画素の差分を算出することで、視差マップが得られます。

パラメータ調整のポイント

ブロックマッチングでは、窓のサイズや視差の探索範囲、そしてその他のパラメータが結果に大きな影響を与えます。

例えば、窓サイズが大きすぎると細部の特徴がぼやけ、窓サイズが小さすぎると雑音に影響されやすくなります。

また、視差範囲は対象物の距離に合わせて適切に設定する必要があります。

これらのパラメータの調整次第で、視差マップの精度が向上する可能性があります。

下記は、cv::StereoBMを用いたシンプルなステレオマッチングのサンプルコードです。

#include <opencv2/opencv.hpp>
#include <opencv2/calib3d.hpp>
int main() {
    // 画像ファイル名を設定する文字列
    std::string leftImagePath = "left.jpg";
    std::string rightImagePath = "right.jpg";
    // 左右の画像をグレースケールで読み込む
    cv::Mat leftImage = cv::imread(leftImagePath, cv::IMREAD_GRAYSCALE);
    cv::Mat rightImage = cv::imread(rightImagePath, cv::IMREAD_GRAYSCALE);
    // 画像が正しく読み込まれたか確認する
    if (leftImage.empty() || rightImage.empty()) {
        std::cerr << "画像の読み込みに失敗しました" << std::endl;
        return -1;
    }
    // StereoBMオブジェクトを作成
    int numDisparities = 16;  // 視差の最大値
    int blockSize = 9;        // ブロックサイズ
    cv::Ptr<cv::StereoBM> stereoBM = cv::StereoBM::create(numDisparities, blockSize);
    // 視差マップを格納するMatを定義
    cv::Mat disparity;
    stereoBM->compute(leftImage, rightImage, disparity);
    // 結果の視差マップを0～255の範囲に正規化する
    cv::Mat disp8U;
    cv::normalize(disparity, disp8U, 0, 255, cv::NORM_MINMAX, CV_8U);
    // 結果を表示する
    cv::imshow("Left Image", leftImage);
    cv::imshow("Right Image", rightImage);
    cv::imshow("Disparity Map", disp8U);
    // キー入力待ち
    cv::waitKey(0);
    return 0;
}

(表示例)
左画像、右画像、正規化された視差マップがそれぞれのウィンドウに表示される

上記のコードは、左右の画像をグレースケール形式で読み込み、cv::StereoBMを用いて視差マップを算出するシンプルな例です。

視差マップはnormalize関数を利用して視認性を向上させ、imshowで結果を確認できるようになっています。

各パラメータの調整により、精度や処理速度のバランスを適切に保つよう工夫してみてください。

Semi-Global Block Matching (StereoSGBM)

アルゴリズムの特徴

StereoSGBMは、ブロックマッチングの基本的なアイディアに加え、視差推定時に候補となる複数の経路を統合してエネルギー最小化問題を解く手法が採用されています。

そのため、左右画像間の連続的な視差変化やエッジ部分での精度が向上します。

処理コストは高くなるものの、精度を重視したい場合に適しています。

精度向上のアプローチ

StereoSGBMでは、ブロックサイズやペナルティ項目、探索範囲の調整が結果に大きな影響を及ぼします。

また、左右の一致確認法などの工夫や、細かなパラメータの調整を行うと視差マップの品質がさらに向上するケースもあります。

ハードウェア性能や用途に合わせ、パラメータの実験的な調整を進めると良いでしょう。

視差マップ生成の評価

処理速度の評価

視差マップ生成の処理速度は、主に画像解像度と使用しているアルゴリズムに依存します。

画像解像度が高い場合、計算量が増加し、処理時間が長くなるため、実際のアプリケーションではリアルタイム処理との兼ね合いも考慮する必要があります。

精度評価の手法

視差マップの精度は、誤差マップや標準偏差、RMSE(Root Mean Squared Error)などの指標を用いて評価する方法が一般的です。

実際の対象物までの実測値や、シミュレーションによる正解データと比較し、精度の検証を行います。

評価指標の計算方法

評価指標の一例として、RMSEは次の式で計算されます。

$RMSE = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} (d_{i} - d_{i, ground truth})^{2}}$

ここで、 $d_{i}$ は計算された視差値、 $d_{i, ground truth}$ は正解の視差値、 $N$ は全画素数を示します。

これらの評価指標をもとに、視差マップの質を客観的に判断する工夫が求められます。

視差マップと3D再構成

視差マップの基礎

視差計算の原理

視差計算は、左右画像の対応点を探索して、各画素に視差値を割り当てるプロセスです。

対象物までの距離が短いほど視差が大きく、遠い場合は視差が小さくなる特徴を利用して、深度情報が算出されます。

各画素の視差情報を元に、空間内の点の配置が推定されるため、3D再構成への第一歩となります。

数式による視差表現： $視差 = f (画像差分)$

この数式は、視差が画像内の特徴的な差分関数に依存することを示しています。

具体的には、両画像間の画素輝度の違いを計算し、対応する視差値として表現することで、各点の深度が決定されます。

距離計算と3D再構成

距離計算の数式： $距離 = \frac{B \times f}{d}$

ここで、 $B$ はカメラ間のベースライン、 $f$ は焦点距離、 $d$ は各画素で計算された視差値を示します。

この式に基づき、各画素の距離が計算され、3次元空間内の点群(ポイントクラウド)が生成されます。

計算精度はキャリブレーションの精度や視差マップ自体の品質に依存します。

ポイントクラウド生成

算出された距離情報から、各画素を対応する3次元空間上の点として再構成することが可能です。

OpenCVの関数やPCL(Point Cloud Library)を併用することで、視覚的に確認できる点群データとして出力する工夫もできます。

これにより、対象物の形状や位置関係が具体的にイメージしやすくなります。

再構成結果の評価

精度評価の方法

3D再構成結果の評価は、既知の寸法との比較や、別の計測機器とのデータ照合などが有効です。

誤差率や再構成の一貫性を数値的に評価することで、システム全体の精度向上につながる情報を得ることができます。

改善のための調整項目

評価結果を踏まえ、キャリブレーションパラメータや視差計算のアルゴリズムの調整を行うと良いです。

特に、ノイズ除去やフィルタ設定、レクティフィケーション処理の微調整など、各工程でのパラメータ変更が最終的な3D再構成結果に大きな影響を与えます。

システム全体のバランスを見ながら調整することが成功の鍵となります。

アルゴリズム評価と課題管理

計算パフォーマンスの検証

実行速度の分析

アルゴリズムの実行速度は、主に画像サイズ、使用するアルゴリズムの複雑さ、及びハードウェア性能に依存します。

各処理パートにかかる時間をプロファイリングし、ボトルネックとなる部分を抽出することが効果的です。

これにより、どの部分で最適化が必要かが明確になります。

最適化の検討要素

計算パフォーマンス向上には、アルゴリズム自体の最適化だけでなく、並列処理やGPUアクセラレーションの活用も検討する価値があります。

アルゴリズムの各ステップを個別に評価し、コストのかかる処理を軽減する工夫が大切です。

使用するライブラリの最新バージョンや、ハードウェアの仕様も常に確認する習慣をつけましょう。

精度向上のための対策

ノイズ影響の軽減

画像取得時のノイズは、視差計算に悪影響を及ぼすため、事前のノイズ除去処理や平滑化フィルタの適用が効果的です。

適切なフィルタ設定やパラメータ調整により、ノイズの影響を最小限に抑える工夫が求められます。

特に、撮影環境が不安定な状況下では、フィルタの選択が重要なポイントとなります。

エラー検出と補正手法

視差計算では、対応点が誤って検出される場合があるため、エラー検出とその補正は欠かせません。

左右一致確認や、局所的なエネルギー最小化手法などを併用することで、不連続な視差値の補正が可能になります。

また、複数のアルゴリズムを併用して結果の信頼性を向上させる方法も検討範囲に入れると良いです。

課題と改良のポイント

リアルタイム処理の難点

リアルタイムで視差計算と3D再構成を行うには、計算量の多い処理を高速化する必要があります。

特に高解像度画像を扱う場合、処理負荷が急増するため、アルゴリズムの軽量化やハードウェアの最適利用が不可欠となります。

システム全体の処理速度を常に意識し、リアルタイム性を担保する工夫が求められます。

ハードウェア依存性の克服

システムの精度や処理速度は、使用するカメラやプロセッサの性能に大きく影響されます。

最新のハードウェアを活用する一方で、低スペック環境でも動作するような工夫を盛り込むと、幅広い応用が可能になります。

例えば、アルゴリズムのモジュール化や、ハードウェアに応じたパラメータの調整機能を備えることが望ましいです。

並列処理の活用可能性

並列処理やGPUアクセラレーションは、処理速度を向上させる有力な手段です。

OpenCVのマルチスレッド対応や、CUDAを利用した処理など、並列計算の仕組みを取り入れることで、高負荷な処理も効率的に実施できるようになります。

プログラムの構造を工夫し、並列処理に対応できる設計を意識すると良いでしょう。

まとめ

今回の内容では、ステレオビジョンの基本原理からカメラのキャリブレーション、画像の前処理、視差マップ生成、そして3D再構成に至るまでの一連の流れについて解説しました。

各工程ごとに、パラメータの選定や最適化、評価方法について詳しく説明しており、システム全体で高い精度と処理速度を両立するための考え方を示しました。

全体の流れをつかみながら、実際の環境や用途に応じた調整を進めると、より良いステレオビジョンシステムの実現につながると感じます。

参考文献