sakamichi
　|――image
　|   |――face_keyaki
　|   |――face_nogi
　|   |――keyaki
　|   |――nogi
　|   |――test
　|   |    |――keyaki
　|   |    |――nogi
　|   |――train
　|        |――keyaki
　|        |――nogi
　|
　|――data
　|   |――train.npy
　|   |――X_test.npy
　|   |――Y_test.npy
　|
　|――model
　|   |――saka^model.hdf5
　|
　|――get_data_n.py
　|――get_data_k.py
　|――face_recog.py
　|――make_data.py
　|――CNN.py

import cv2
import urllib.request as req
from selenium import webdriver
import os
import time

driver = webdriver.Chrome(executable_path='C:/driver/chromedriver.exe')

count=1

#対象URLの指定
driver.get("https://keyaki.foxtrotalphalima.com/blog/nogi?id=all&vw=1&p=0")
time.sleep(3)

while True:
    #ブログリスト取得
    blog_list = driver.find_elements_by_class_name('blog')
    for blog in blog_list:
        #画像リスト取得
        images = blog.find_elements_by_css_selector('ul > li')
        for image in images:
            #画像のURL取得
            image_url = image.find_element_by_css_selector('img').get_attribute('src')
            #画像保存
            try:
                image = req.urlopen(image_url).read()
                if not os.path.exists('./image/nogi'):
                    os.mkdir('./image/nogi')
                with open('./image/nogi/'+str(count)+'.jpg',mode='wb') as f:
                    f.write(image)
                print('download - {}'.format(count))
            except:
                print('cant open url')

            count += 1

    if count > 3500:
        break
    #次ページのURLを取得し移動
    print('------------------- go to next page --------------------------')
    next_url = driver.find_element_by_css_selector('body > main > ul > ul > li:nth-child(2) > a').get_attribute('href')
    driver.get(next_url)
    time.sleep(5)

driver.quit()

import cv2
import sys
import os
import glob
from PIL import Image
import time

groups = ['nogi','keyaki']
root_dir = './image'
image_size = 50
count = 1

def image_data(file,path,group):
    global count
    #カスケードファイルのパスを指定
    cascade_file = "C:/haarcascades/haarcascade_frontalface_alt.xml"
    #画像の読み込み
    image = cv2.imread(file)
    #グレースケールに変更
    image_gs = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
    #物体認識（顔認識）の実行
    #image – CV_8U 型の行列．ここに格納されている画像中から物体が検出されます
    #objects – 矩形を要素とするベクトル．それぞれの矩形は，検出した物体を含みます
    #scaleFactor – 各画像スケールにおける縮小量を表します
    #minNeighbors – 物体候補となる矩形は，最低でもこの数だけの近傍矩形を含む必要があります
    #flags – このパラメータは，新しいカスケードでは利用されません．古いカスケードに対しては，cvHaarDetectObjects 関数の場合と同じ意味を持ちます
    #minSize – 物体が取り得る最小サイズ．これよりも小さい物体は無視されます
    #顔認識実行
    cascade = cv2.CascadeClassifier(cascade_file)
    #顔の範囲を返す(左上の点のx座標, y座標, 幅, 高さ)のリスト（配列）
    face_list = cascade.detectMultiScale(image_gs,scaleFactor=1.1,minNeighbors=1,minSize=(20,20))
    #顔が認識されているかどうかで場合分け
    if len(face_list)>0:
        for i,face in enumerate(face_list):
            x,y,w,h = face
            face = image[y:y+h,x:x+w]
            #画像サイズを一定にリサイズする
            face = cv2.resize(face,(image_size,image_size))
            #描画結果をファイルに書き込む
            if not os.path.exists(path+'/face_'+group):
                os.mkdir(path+'/face_'+group)
            cv2.imwrite(path+'/face_'+group+'/'+str(count)+'.PNG',face)
            count += 1
            print('save - {}'.format(count))
    else:
        print('no face')

def main():
    for group in groups:
        count = 1
        print('************** {} ******************'.format(group))
        path = root_dir+'/'+group
        #全画像ファイル取得
        files = glob.glob(path+'/*.jpg')
        print(len(files))
        #顔抽出
        for file in files:
            time.sleep(1)
            print(file)
            image_data(file,root_dir,group)


if __name__ == '__main__':
    main()

image
　|――face_keyaki
　|――face_nogi
　|――keyaki
　|――nogi

from sklearn.model_selection import train_test_split
from PIL import Image
import os,glob
import numpy as np
import shutil
import math
import random


#分類のカテゴリーを選ぶ
root_dir = './image/face_'
train_dir = './image/train/'
test_dir = './image/test/'
groups = ['nogi','keyaki']
nb_classes = len(groups)
image_size = 50


#顔をtrain,testに分けるコード
for idx,group in enumerate(groups):
    print('----{}を処理中----'.format(group))
    image_dir = root_dir + group
    move_train_dir = train_dir + group
    move_test_dir = test_dir + group
    files = glob.glob(image_dir+'/*.png')
    print(len(files))
    th = math.floor(len(files)*0.2)
    random.shuffle(files)
    #データの20%をtestディレクトリに移動させる
    for i in range(th):
        shutil.move(files[i],move_test_dir)
    #残りすべてをtrainディレクトリに移動させる
    files = glob.glob(image_dir+'/*.png')
    for file in files:
        shutil.move(file,move_train_dir)


"""画像データをNumpy形式に変換"""
root_dir = './image/train/'
#訓練データ
#フォルダごとの画像データを読み込む
X = []
Y = []
for idx,group in enumerate(groups):
    image_dir = root_dir + group
    files = glob.glob(image_dir+'/*.png')
    print('----{}を処理中----'.format(group))
    for i,f in enumerate(files):
        img = Image.open(f)
        img = img.convert('RGB') #カラーモードの変更
        img = img.resize((image_size,image_size))#画像サイズの変更
        data = np.asarray(img)
        X.append(data)#画像をベクトルにしたもの
        Y.append(idx)#二値化問題
X = np.array(X)
Y = np.array(Y)

#学習用データと検証用データに分ける
X_train,X_test,y_train,y_test = train_test_split(X,Y,random_state=0)
xy = (X_train,X_test,y_train,y_test)
np.save('./data/train.npy',xy)
print(X_train.shape[1:])
print('ok',len(Y))

#テストデータ
#フォルダごとの画像データを読み込む
X = []
Y = []
for idx,group in enumerate(groups):
    image_dir = root_dir + group
    files = glob.glob(image_dir+'/*.png')
    print('----{}を処理中----'.format(group))
    for i,f in enumerate(files):
        img = Image.open(f)
        img = img.convert('RGB') #カラーモードの変更
        img = img.resize((image_size,image_size))#画像サイズの変更
        data = np.asarray(img)
        X.append(data)#画像をベクトルにしたもの
        Y.append(idx)#二値化問題
X = np.array(X)
Y = np.array(Y)

#テストデータ保存
np.save('./data/X_test.npy',X)
np.save('./data/y_test.npy',Y)
print(X_train.shape[1:])
print('ok',len(Y))

data
|――train.npy
|――X_test.npy
|――Y_test.npy

#モジュールのインポート
import numpy as np
from keras.models import Sequential
from keras.layers import Conv2D,MaxPooling2D
from keras.layers import Activation,Dropout,Flatten,Dense
from keras.utils import np_utils
import matplotlib.pyplot as plt

#カテゴリ
groups = ['nogi','keyaki']
nb_classes = len(groups)
image_size =50

#モデル構築
def build_model(in_shape):
    model = Sequential()
    model.add(Conv2D(32,(3,3),padding='same',input_shape=in_shape))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2),data_format='channels_first'))

    model.add(Conv2D(64,(3,3),padding='same'))
    model.add(Activation('relu'))
    #model.add(MaxPooling2D(pool_size=(2,2)))

    model.add(Conv2D(128,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))

    model.add(Conv2D(128,(3,3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2,2)))

    model.add(Flatten())
    model.add(Dropout(0.5))

    model.add(Dense(512))
    model.add(Activation('relu'))
    model.add(Dropout(0.5))

    model.add(Dense(nb_classes))
    model.add(Activation('sigmoid'))

    #モデル構成の確認
    #model.summary()
    model.compile(loss='binary_crossentropy',optimizer='rmsprop',metrics=['accuracy'])
    return model

#正解率、損失値のグラフ
def draw_graph(model):
    fig, (axL, axR) = plt.subplots(ncols=2, figsize=(16,8))

    acc = model.history['acc'] #学習用データの正解率
    val_acc = model.history['val_acc'] #検証用データの正解率
    loss = model.history['loss'] #学習用データの損失値
    val_loss = model.history['val_loss'] #検証用データの損失値

    axL.plot(acc,label='Training acc')
    axL.plot(val_acc,label='Validation acc')
    axL.set_title('Accuracy')
    axL.legend(loc='best')

    axR.plot(loss,label='Training loss')
    axR.plot(val_loss,label='Validation loss')
    axR.set_title('Loss')
    axR.legend(loc='best')

    plt.show()

#モデルを訓練する
def model_train(X,y,X_t,y_t):
    model = build_model(X.shape[1:])
    history = model.fit(X,y,batch_size=8,epochs=10,validation_data=(X_t,y_t))
    draw_graph(history)
    #モデルを保存する
    hdf5_file = './model/saka^model.hdf5'
    model.save_weights(hdf5_file)
    return model

#モデルの評価
def model_eval(model):
    X = np.load('./data/X_test.npy')
    y_test = np.load('./data/y_test.npy')
    #データの正規化
    X_test = X.astype('float') /256
    y_test = np_utils.to_categorical(y_test,nb_classes)
    score = model.evaluate(x=X_test,y=y_test)
    print('loss : ',score[0])
    print('accuracy : ',score[1])

#学習開始
def main():
    X_train,X_test,y_train,y_test = np.load('./data/train.npy')
    print('X_train shape : ',X_train.shape)
    print('X_test shape : ',X_test.shape)
    print('y_train shape : ',y_train.shape)
    print('y_test shape : ',y_test.shape)
    #データの正規化
    X_train = X_train.astype('float') /256
    X_test  = X_test.astype('float') /256
    y_train = np_utils.to_categorical(y_train,nb_classes)
    y_test = np_utils.to_categorical(y_test,nb_classes)
    #モデルを訓練し評価する
    model = model_train(X_train,y_train,X_test,y_test)
    model_eval(model)

def pred(X,weight):
    model = build_model(X.shape[1:])
    model.load_weights(weight)
    pre = model.predict(X)
    print(pre)