(cache) MapleStory

MapleStoryのスクリーンショットを取得しようとしたんだけど、どうも環境によって動作が違って、上手くいかなかった。

最初に試したのが、Win32APIのPrintWindow()
これだと、マルチディスプレイだろうと、画面外に飛び出していようと、他ウィンドウで隠れていようと正確にキャプチャ出来るんだけど、ホスト側の64bit7でしかちゃんと動いてくれなくて、VMのXP,7ではMapleStoryのキャプチャーは出来なかった。理由はわからないけど・・・。

msRect.***はそれぞれ座標が入ってる

//[DllImport("user32.dll")]
//public extern static bool PrintWindow(IntPtr hWnd, IntPtr dc, uint reservedFlag);

Bitmap msBmp = new Bitmap(( msRect.right - msRect.left ), ( msRect.bottom - msRect.top ));
using( Graphics g = Graphics.FromImage(msBmp) ) {
	IntPtr hdc = g.GetHdc();
	PrintWindow(msProcess.MainWindowHandle, hdc, 0);
	g.ReleaseHdc(hdc);
}

//[DllImport("user32.dll")]

//public extern static bool PrintWindow(IntPtr hWnd, IntPtr dc, uint reservedFlag);

Bitmap msBmp = new Bitmap(( msRect.right - msRect.left ), ( msRect.bottom - msRect.top ));

using( Graphics g = Graphics.FromImage(msBmp) ) {

IntPtr hdc = g.GetHdc();

PrintWindow(msProcess.MainWindowHandle, hdc, 0);

g.ReleaseHdc(hdc);

}

次に試したのがBitBlt
これは前に邪魔なウィンドウとかがあると、それはそのまま映り込んでしまうから正常に動作しない、最前面にウィンドウがあれば、非アクティブ状態でも取得出来る。
ホストの7と、ゲストのXPは正常動作したんだけど、VMの7だと不思議な動作だった。
非アクティブ状態と、クリックボタン押し続けてる間は取得出来る。でも、MapleStoryをアクティブにすると上手く動作しなくなる。
動画撮ったんだけど、こんな感じ。

うーん・・・不思議。

コードコピペだけど。

private Bitmap CaptureScreen(int x, int y, int w, int h) {

	//プライマリモニタのデバイスコンテキストを取得
	IntPtr disDC = GetDC(IntPtr.Zero);
	//Bitmapの作成
	Bitmap bmp = new Bitmap(w, h);
	//Graphicsの作成
	Graphics g = Graphics.FromImage(bmp);
	//Graphicsのデバイスコンテキストを取得
	IntPtr hDC = g.GetHdc();
	//Bitmapに画像をコピーする
	BitBlt(hDC, 0, 0, w, h, disDC, x, y, 13369376);
	//解放
	g.ReleaseHdc(hDC);
	g.Dispose();
	ReleaseDC(IntPtr.Zero, disDC);

	return bmp;
}

private Bitmap CaptureScreen(int x, int y, int w, int h) {

//プライマリモニタのデバイスコンテキストを取得

IntPtr disDC = GetDC(IntPtr.Zero);

//Bitmapの作成

Bitmap bmp = new Bitmap(w, h);

//Graphicsの作成

Graphics g = Graphics.FromImage(bmp);

//Graphicsのデバイスコンテキストを取得

IntPtr hDC = g.GetHdc();

//Bitmapに画像をコピーする

BitBlt(hDC, 0, 0, w, h, disDC, x, y, 13369376);

//解放

g.ReleaseHdc(hDC);

g.Dispose();

ReleaseDC(IntPtr.Zero, disDC);

return bmp;

}

全部の環境で上手く行ったのがこれ。
同じくbitbltなんだけど、全体のスクリーンショットを取得してから必要な部分だけ切り抜くようにしてみたら上手く行った。
違いはなんだろう？
マルチディスプレイには対応できなくなってしまった。

//画面全体のスクリーンショットを取得
Bitmap bmp = new Bitmap(Screen.PrimaryScreen.Bounds.Width, Screen.PrimaryScreen.Bounds.Height);
IntPtr dc = GetDC(IntPtr.Zero);
using( Graphics g = Graphics.FromImage(bmp) ) {
	IntPtr hdc = g.GetHdc();
	BitBlt(hdc, 0, 0, bmp.Width, bmp.Height, dc, 0, 0, 13369376);
	g.ReleaseHdc(hdc);
}
ReleaseDC(IntPtr.Zero, dc);

//必要な部分だけ切トリミング
using( Graphics gra = Graphics.FromImage(msBmp) ) {
	gra.DrawImage(bmp, new Rectangle(0, 0, ( msRect.right - msRect.left ), ( msRect.bottom - msRect.top )), new Rectangle(msRect.left, msRect.top, ( msRect.right - msRect.left ), ( msRect.bottom - msRect.top )), GraphicsUnit.Pixel);
}

//画面全体のスクリーンショットを取得

Bitmap bmp = new Bitmap(Screen.PrimaryScreen.Bounds.Width, Screen.PrimaryScreen.Bounds.Height);

IntPtr dc = GetDC(IntPtr.Zero);

using( Graphics g = Graphics.FromImage(bmp) ) {

IntPtr hdc = g.GetHdc();

BitBlt(hdc, 0, 0, bmp.Width, bmp.Height, dc, 0, 0, 13369376);

g.ReleaseHdc(hdc);

}

ReleaseDC(IntPtr.Zero, dc);

//必要な部分だけ切トリミング

using( Graphics gra = Graphics.FromImage(msBmp) ) {

gra.DrawImage(bmp, new Rectangle(0, 0, ( msRect.right - msRect.left ), ( msRect.bottom - msRect.top )), new Rectangle(msRect.left, msRect.top, ( msRect.right - msRect.left ), ( msRect.bottom - msRect.top )), GraphicsUnit.Pixel);

}

printWindowが使えれば一番良いんだけどー

文字だったら、OCR使えば良いと思うんだけど、数字なら10種類しかないわけだし、1pixelずつ比較していったほうが確実だと思う。

MapleStoryのスクリーンショットを取得して、HP、MP、経験値、レベルの4つの値を取得したい。

またOpenCVに頼ることにした。
C#にも、GetPixelっていうのがあるんだけど、処理速度が遅すぎる。
OpenCVは早くて簡単で便利！できることも多いし、コード量も少なくて済む、良い事尽くめ。

取得したい文字が白なので、画像をグレースケール化して、文字に使われてる色の中で、一番黒に近い色を探す。
結果、220,220,220くらいが一番暗い色だったので、220以下の色を全て0,0,0の真っ黒に変更、それよりも明るい色を255,255,255の真っ白に変更
っていう、2値化の処理をCv.Thresholdでやってる。
この処理でimgに2値化された画像が入るので、そこから数字を読み取ってやる。
読み取る方法は、画像を1ピクセルずつ、縦に見ていって、白の数を数えて、その組み合わせで数字を判断してやる。
わけあって1行目は拾ってないので、2行目から7行目の6ピクセル分を縦に取得して、numArrExpに、1列毎にデータを追加していく。
それをtpExpNumberに渡す。

//msBmpにはMapleStoryのスクリーンショットが入ってる。
using( IplImage img = Cv.CreateImage(new CvSize(msBmp.Width, msBmp.Height), BitDepth.U8, 1) )
using( IplImage src = BitmapConverter.ToIplImage(msBmp) ) {
	Cv.CvtColor(src, img, ColorConversion.BgrToGray); //グレースケールに変更
	Cv.Threshold(img, img, 220, 255, ThresholdType.Binary); //画像の2値化

	//経験値の値を取得
	int[] numArrExp = new int[104];
	for( int x = 0; x < 104; x++ ) {
		int whiteCount = 0; //列の白の個数を数える
		for( int y = 0; y < 6; y++ ) {
			CvColor cvColor = (CvColor)img.Get2D(expy + y, expx + x);
			if( cvColor.B == 255 ) {
				whiteCount++;
			}
		}
		numArrExp[x] = whiteCount;
	}
	try {
		exp = toExpNumber(numArrExp);
	} catch( FormatException ) {
		exp = -1;
	} catch( IndexOutOfRangeException ) {
		exp = -2;
	}

//msBmpにはMapleStoryのスクリーンショットが入ってる。

using( IplImage img = Cv.CreateImage(new CvSize(msBmp.Width, msBmp.Height), BitDepth.U8, 1) )

using( IplImage src = BitmapConverter.ToIplImage(msBmp) ) {

Cv.CvtColor(src, img, ColorConversion.BgrToGray); //グレースケールに変更

Cv.Threshold(img, img, 220, 255, ThresholdType.Binary); //画像の2値化

//経験値の値を取得

int[] numArrExp = new int[104];

for( int x = 0; x < 104; x++ ) {

int whiteCount = 0; //列の白の個数を数える

for( int y = 0; y < 6; y++ ) {

CvColor cvColor = (CvColor)img.Get2D(expy + y, expx + x);

if( cvColor.B == 255 ) {

whiteCount++;

}

numArrExp[x] = whiteCount;

}

try {

exp = toExpNumber(numArrExp);

} catch( FormatException ) {

exp = -1;

} catch( IndexOutOfRangeException ) {

exp = -2;

}

白の個数が0だったら次へ
白が存在すれば、その列の白の数と、次の列とか、次の次の列とかの白の個数からその数字が何なのか判断して、strに追加していく。
ループが終わったら、strをintにparseしてreturn。
HP,MP,レベルに関してもだいたい同じような処理でやってる。
数字しかないので間違いなく判断してくれる。文字だったらOCR使うしかないね。不安だけど。

/// <summary>
/// 経験値用
/// </summary>
/// <param name="numArr">色情報</param>
/// <returns>値</returns>
private int toExpNumber(int[] numArr) {
	string str = "";
	for( int i = 0; i < numArr.Length; i++ ) {
		if( numArr[i] == 0 ) {
			continue;
		}

		/*
			* 1 1,6
			* 2 2,2,2,2,3
			* 3 2,1,2,2,4
			* 4 2,2,2,6,1
			* 5 3,2,2,2,2
			* 6 5,2,2,2,3
			* 7 2,2,2,0,0
			* 8 4,2,2,2,4
			* 9 3,2,2,2,5
			* 0 5,1,1,1,5
			* . 1,0
			*/
		
		if( numArr[i] == 1 ) { //1確定
			if( numArr[i + 1] == 6 ) {
				str += "1";
				i += 3;
			} else {
				throw new FormatException();
			}
			continue;
		}

		if( numArr[i] == 2 ) { //2,3,4,7?
			if( numArr[i + 4] == 3 ) { //2
				str += "2";
				i += 6;
			} else if( numArr[i + 4] == 4 ) { //3
				str += "3";
				i += 6;
			} else if( numArr[i + 4] == 1 ) { //4
				str += "4";
				i += 6;
			} else if( numArr[i + 4] == 0 ) { //7
				str += "7";
				i += 4;
			} else {
				throw new FormatException();
			}
			continue;
		}

		if( numArr[i] == 3 ) { //5,9?
			if( numArr[i + 4] == 2 ) { //5
				str += "5";
			} else if( numArr[i + 4] == 5 ) { //9
				str += "9";
			} else {
				throw new FormatException();
			}
			i += 6;
			continue;
		}

		if( numArr[i] == 4 ) { //8確定
			if( numArr[i + 4] == 4 ) {
				str += "8";
				i += 6;
			} else {
				throw new FormatException();
			}
			continue;
		}

		if( numArr[i] == 5 ) { //6,0?
			if( numArr[i + 4] == 3 ) { //6
				str += "6";
			} else if( numArr[i + 4] == 5 ) { //0
				str += "0";
			} else {
				throw new FormatException();
			}
			i += 6;
			continue;
		}
	}
	return int.Parse(str);
}

/// <summary>

/// 経験値用

/// </summary>

/// <param name="numArr">色情報</param>

/// <returns>値</returns>

private int toExpNumber(int[] numArr) {

string str = "";

for( int i = 0; i < numArr.Length; i++ ) {

if( numArr[i] == 0 ) {

continue;

}

* 1 1,6

* 2 2,2,2,2,3

* 3 2,1,2,2,4

* 4 2,2,2,6,1

* 5 3,2,2,2,2

* 6 5,2,2,2,3

* 7 2,2,2,0,0

* 8 4,2,2,2,4

* 9 3,2,2,2,5

* 0 5,1,1,1,5

* . 1,0

if( numArr[i] == 1 ) { //1確定

if( numArr[i + 1] == 6 ) {

str += "1";

i += 3;

} else {

throw new FormatException();

}

continue;

}

if( numArr[i] == 2 ) { //2,3,4,7?

if( numArr[i + 4] == 3 ) { //2

str += "2";

i += 6;

} else if( numArr[i + 4] == 4 ) { //3

str += "3";

i += 6;

} else if( numArr[i + 4] == 1 ) { //4

str += "4";

i += 6;

} else if( numArr[i + 4] == 0 ) { //7

str += "7";

i += 4;

} else {

throw new FormatException();

}

continue;

}

if( numArr[i] == 3 ) { //5,9?

if( numArr[i + 4] == 2 ) { //5

str += "5";

} else if( numArr[i + 4] == 5 ) { //9

str += "9";

} else {

throw new FormatException();

}

i += 6;

continue;

}

if( numArr[i] == 4 ) { //8確定

if( numArr[i + 4] == 4 ) {

str += "8";

i += 6;

} else {

throw new FormatException();

}

continue;

}

if( numArr[i] == 5 ) { //6,0?

if( numArr[i + 4] == 3 ) { //6

str += "6";

} else if( numArr[i + 4] == 5 ) { //0

str += "0";

} else {

throw new FormatException();

}

i += 6;

continue;

}

return int.Parse(str);

}

そんな感じで作ったのがExpEfficiency

テスト中に撮ったから、タイトル部分がForm1になってたりするけど、こんな感じのUIにした。
レベルアップまでの時間と、予想時刻、後1時間あたりに換算した経験値量もつけたほうがわかりやすいかなー。

定期メールレポート機能付けてみたから、外出中でも定期的に経験値上昇状況が送られてくる。もし増えてなかったら探知機で飛ばされたか落ちたか死んだか。
そうなったらスマホでリモート操作して狩りに戻したりね。

今のところ、x64の実機7proと、x86のVMXPproで動作確認出来てる。
x86VM7Homeがどうしても動かない。今週中には何とかしたい。

タグ別アーカイブ: MapleStory

[C#]スクリーンキャプチャいろいろ

[C#]画面上の数字を読み取る

カウンター

Pages