OpenCVを用いて顔と目を認識する (cv::CascadeClassifier)

前提として理解しておくべき知識

• OpenCVを用いて顔を認識する (cv::CascadeClassifier)

顔認識

顔認識によって得られた矩形領域をROI (Region of Interest)として取り出して、 その領域に目の認識を適用します。

目と眼鏡を同時に認識させようと分類器として haarcascade_eye_tree_eyeglasses.xml を使ったら無限ループになるので、 目だけを認識させています(2016/07/25)。

プログラム作成の手順

1. 「OpenCVを用いて顔を認識する (cv::CascadeClassifier)」 の Visual Studio 2015 のプロジェクトを用いて作成します。
2. OpenCV と共に配布されている 「顔認識用の xml ファイル」 haarcascade_eye.xml を main.cpp と同じフォルダにコピーします。 そして、プロジェクトに追加します。

これで、プロジェクト内の xml ファイルは2つになります。

• haarcascade_frontalface_alt.xml
• haarcascade_eye.xml
3. main.cppの内容を以下のように変更します。

main.cpp (赤字の部分)

#include <iostream> #include <sstream> #include <opencv2/opencv.hpp> using namespace std; void doJob() { string path = ""; string cascadeName = "haarcascade_frontalface_alt.xml"; string cascadeName2 = "haarcascade_eye.xml"; cv::CascadeClassifier cascade, cascade2; if (!cascade.load(path + cascadeName)) throw runtime_error(cascadeName + " not found"); if (!cascade2.load(path + cascadeName2)) throw runtime_error(cascadeName2 + " not found"); cv::VideoCapture cap(0); if (!cap.isOpened()) throw runtime_error("VideoCapture open failed"); cv::Mat image; cv::Mat gray; while (1) { cap >> image; cv::cvtColor(image, gray, cv::COLOR_BGR2GRAY); equalizeHist(gray, gray); vector<cv::Rect> founds, founds2; cascade.detectMultiScale(gray, founds, 1.1, 2, 0 | cv::CASCADE_SCALE_IMAGE, cv::Size(30, 30)); for (auto faceRect: founds) { cv::rectangle(image, faceRect, cv::Scalar(0, 0, 255), 2); cv::Mat roi = gray(faceRect); cascade2.detectMultiScale(roi, founds2, 1.1, 2, 0 | cv::CASCADE_SCALE_IMAGE, cv::Size(30, 30)); for (auto eyeRect: founds2) { cv::Rect rect(faceRect.x + eyeRect.x, faceRect.y + eyeRect.y, eyeRect.width, eyeRect.height); cv::rectangle(image, rect, cv::Scalar(0, 255, 0), 2); } } cv::imshow("video", image); auto key = cv::waitKey(1); if (key == 'q') break; } cv::destroyAllWindows(); } int main(int argc, char** argv) { try { doJob(); } catch (exception &ex) { cout << ex.what() << endl; string s; cin >> s; } return 0; }

4. プログラムを実行するとRGB画像が表示されます。"q"キーで終了します。

左の例では目も正しく認識されていますが、右の例では左眉も目と誤認識しています。


  



5. サンプルのプロジェクトはこちら。