Python,OpenCVで画像を回転させてテンプレートマッチングを試してみた

はじめに

PythonとOpenCVを使ってテンプレートマッチングを行う方法を実装しました。
また、画像を回転したときのマッチング結果も実験してみました。
ソースコードと計算結果を解説します。

テンプレートマッチングとは別に特徴点/特徴量を使ったマッチング手法や増分符号相関法といった手法もあります。

詳細はこちらの記事で解説しています。

YAJIROBE BLOG

2019.01.01

python3,opencv3で特徴点マッチング(AKAZE, KNN)

https://techtech-sorae.com/python3opencv3で特徴点マッチングakaze-knn

OpenCVに実装されている特徴量記述子（AKAZE）を使って、二枚の画像間の特徴点マッチングアルゴリズムを実装してみたいと思います。また、今回はベース画像の特徴量記述子によって得られた特徴量をテキストベースで格納し、そのテキストデータからマッチングを処理する部分も実装してみました。画像マッチング手法にはたくさんの研究や提案がされていますが、その中でも照明やノイズにもロバストな手法である”増分符号相関法”についてもPythonで実装した記事もおすすめです。是非一度見てみてください。特徴点(特徴量）マッチン...

YAJIROBE BLOG

2018.11.18

python,opencvで増分符号相関(ISC)実装してみた

https://techtech-sorae.com/pythonopencvで増分符号相関isc実装してみた

増分符号相関法（ISC : Increment Sign Correlation）とは、画像照合手法の一つである。増分符号相関とは、輝度の増減の符号に着目した統計量のこと。特徴として、ノイズや照明変動、対象物の遮蔽にロバストである。pythonとopencvを使って、このアルゴリズムを実装しました。増分符号相関とは着目画素と隣接する画素の濃度値を比較した結果を、2bitの符号として表し、画像同士の類似度を符号相関として評価する手法である。一般的にはノイズや遮蔽、照明変動にロバストと言われています。動作環境・PyCharm Community Edition 2018.2....

動作環境

・PyCharm Community Edition 2018.3.1 x64
・OpenCV 3.4.5.20

テンプレートマッチングとは

入力画像に対してテンプレート画像をスライドさせながら、両者の類似度を計算し、類似度が最も高い位置を探すことが出来ます。

この手法は古くからから使われてきた画像マッチング手法です。
類似度計算方法にはいくつかあり、本記事では数式の詳細にはついては触れませんが、興味ある方はOpenCVの公式ドキュメントを参考にしてみてください。

opencv2.2 documentation

OpenCVではこれらの手法が既に実装されており、関数を呼び出すだけですぐ試すことが出来ます。
ただし、この手法は画像の回転やスケール変化に弱いとされています。

実験

今回は相関係数マッチング手法（ZNCC）を使って、テンプレートマッチングしてみます。
またその際に入力画像を回転させたときの結果についても確認してみます。

ソースコード

ソースコードはこちらになります。

import cv2

def rotate_img(image, angle):
    height, width, dim = image.shape

    # center of rotation
    center = (int(width/2), int(height/2))

    # set scale
    scale = 1.0

    trans = cv2.getRotationMatrix2D(center, angle, scale)

    #affine convert
    rot_image = cv2.warpAffine(image, trans, (width, height))

    return rot_image



if __name__ == "__main__":
    # input image
    img = cv2.imread("./input.jpg")
    temp = cv2.imread("./temp.jpg")

    # convert gray scale image
    gray_temp = cv2.cvtColor(temp, cv2.COLOR_RGB2GRAY)

    # get template image width, height
    h, w = gray_temp.shape

    # rotation image
    min_angle = 0
    max_angle = 90
    step_angle = 20
    for i in range(min_angle, max_angle, step_angle):
        rot_image = rotate_img(img, i)
        gray_rot_img = cv2.cvtColor(rot_image, cv2.COLOR_RGB2GRAY)

        # template matching
        match = cv2.matchTemplate(gray_rot_img, gray_temp, cv2.TM_CCOEFF_NORMED)#ZNCC
        min_value, max_value, min_pt, max_pt = cv2.minMaxLoc(match)
        pt = max_pt

        # output result
        cv2.rectangle(rot_image, (pt[0], pt[1] ), (pt[0] + w, pt[1] + h), (0,0,200), 3)
        cv2.imwrite("result" + str(i) + ".jpg", rot_image)