OpenCVを用いて顔+目+笑顔を認識する (cv::CascadeClassifier)

前提として理解しておくべき知識

• OpenCVを用いて顔を認識する (cv::CascadeClassifier)
• OpenCVを用いて顔と目を認識する (cv::CascadeClassifier)

笑顔認識

顔認識によって得られた矩形領域の下半分をROI (Region of Interest)として取り出して、 その領域に笑顔の認識を適用します。 笑顔の度合い $\mbox{intensityZeroOne}$ (0.0 〜 1.0) は次の式で計算されます。
$\mbox{int} \quad \mbox{smile_neighbors} = 発見された矩形領域の数$
$\mbox{int} \quad \mbox{max_neighbors} =-1;$
$\mbox{static int} \quad \mbox{min_neighbors} =-1;$
$if \quad (\mbox{min_neighbors} == -1) \quad \mbox{min_neighbors} = \mbox{smile_neighbors};$
$\mbox{max_neighbors} = \max(\mbox{max_neighbors}, \mbox{smile_neighbors});$
$\displaystyle \mbox{float} \quad \mbox{intensityZeroOne} = \frac{\mbox{smile_neighbors} - \mbox{min_neighbors}}{\mbox{max_neighbors} - \mbox{min_neighbors} + 1}$

プログラム作成の手順

1. 「OpenCVを用いて顔と目を認識する (cv::CascadeClassifier)」 の Visual Studio 2015 のプロジェクトを用いて作成します。
2. OpenCV と共に配布されている 「笑顔認識用の xml ファイル」 haarcascade_smile.xml を main.cpp と同じフォルダにコピーします。 そして、プロジェクトに追加します。

これで、プロジェクト内の xml ファイルは3つになります。

• haarcascade_frontalface_alt.xml
• haarcascade_eye.xml
• haarcascade_smile.xml
3. main.cppの内容を以下のように変更します。

main.cpp (赤字の部分)

#include <iostream> #include <sstream> #include <opencv2/opencv.hpp> using namespace std; void doJob() { string path = ""; string cascadeName = "haarcascade_frontalface_alt.xml"; string cascadeName2 = "haarcascade_eye.xml"; string cascadeName3 = "haarcascade_smile.xml"; cv::CascadeClassifier cascade, cascade2, cascade3; if (!cascade.load(path + cascadeName)) throw runtime_error(cascadeName + " not found"); if (!cascade2.load(path + cascadeName2)) throw runtime_error(cascadeName2 + " not found"); if (!cascade3.load(path + cascadeName3)) throw runtime_error(cascadeName3 + " not found"); cv::VideoCapture cap(0); if (!cap.isOpened()) throw runtime_error("VideoCapture open failed"); cv::Mat image; cv::Mat gray; while (1) { cap >> image; cv::cvtColor(image, gray, cv::COLOR_BGR2GRAY); equalizeHist(gray, gray); vector<cv::Rect> founds, founds2, founds3; cascade.detectMultiScale(gray, founds, 1.1, 2, 0 | cv::CASCADE_SCALE_IMAGE, cv::Size(30, 30)); for (auto faceRect: founds) { cv::rectangle(image, faceRect, cv::Scalar(0, 0, 255), 2); cv::Mat roi = gray(faceRect); cascade2.detectMultiScale(roi, founds2, 1.1, 2, 0 | cv::CASCADE_SCALE_IMAGE, cv::Size(30, 30)); for (auto eyeRect: founds2) { cv::Rect rect(faceRect.x + eyeRect.x, faceRect.y + eyeRect.y, eyeRect.width, eyeRect.height); cv::rectangle(image, rect, cv::Scalar(0, 255, 0), 2); } cv::Rect halfRect = faceRect; halfRect.y += faceRect.height/2; halfRect.height = faceRect.height/2 - 1; // under half of face cv::Mat roi2 = gray(halfRect); cascade3.detectMultiScale(roi2, founds3, 1.1, 0, 0 | cv::CASCADE_SCALE_IMAGE, cv::Size(30, 30)); const int smile_neighbors = (int)founds3.size(); static int max_neighbors=-1; static int min_neighbors=-1; if (min_neighbors == -1) min_neighbors = smile_neighbors; max_neighbors = MAX(max_neighbors, smile_neighbors); float intensityZeroOne = ((float)smile_neighbors - min_neighbors) / (max_neighbors - min_neighbors + 1); cv::Rect meter(faceRect.x, faceRect.y-20, (int)100*intensityZeroOne, 20); cv::rectangle(image, meter, cv::Scalar(255, 0, 0), -1); cv::Rect meterFull(faceRect.x, faceRect.y-20, 100, 20); cv::rectangle(image, meterFull, cv::Scalar(255, 0, 0), 1); } cv::imshow("video", image); auto key = cv::waitKey(1); if (key == 'q') break; } cv::destroyAllWindows(); } int main(int argc, char** argv) { try { doJob(); } catch (exception &ex) { cout << ex.what() << endl; string s; cin >> s; } return 0; }

4. プログラムを実行するとRGB画像が表示されます。"q"キーで終了します。

顔認識した矩形領域の上に幅最大100ドットで青い横棒で、笑いの度合いが表示されます。 左の画面は笑顔の度合いが非常に低く、右の画面は笑顔の度合いがかなり高くなっています。


  



5. サンプルのプロジェクトはこちら。