簡単！Pythonの画像認識で操作を自動化

こんにちは、エドワイズです。

今回はPythonを使った簡単な画像認識で操作を自動化する方法を紹介します。

画像認識というと一見難しそうに聞こえますが『PyAutoGUI』という便利なライブラリを使用することで簡単に行うことができます。

 

手順

１．Pythonのpipコマンドで『PyAutoGUI』をインストール

 

２．認識させたい画像を用意

 

３．Pythonファイルに以下のコードを記述

 

これだけで画面上に用意した画像が表示されていればその画像をクリックすることができます。

 

実験

試しに昔流行った『クッキークリッカー』のアイテム購入を自動化してみました。

 

カーソルとグランマを交互に買い続けるプログラム

これは画像認識に失敗するまで無限ループするヤバいプログラムですが、PyAutoGUIの機能でマウスカーソルを画面の左上端に持っていくと実行を中断することができます。

 

実行映像

 

このように自動で特定の画像をクリックさせることができます。

ただし、クリックしたいものがアニメーション等で動いてるとうまく認識されず失敗してします。

その場合は、認識するまでリトライしたり、もはや画像認識は使わず直接指定した座標をクリックしたりする方法が良いと思います。

 

以上、画像認識による自動化の紹介でした。