# -*- coding: utf-8 -*-
import sys
import htmlentitydefs
import re
import unicodedata
import zenhan


class Normalizer(object):
    def __init__(self, char_path):
        # 全角 JIS X 0208 の文字群
        self.char_list = []
        for line in open(char_path):
            self.char_list.append(line[:-1])

    def __del__(self):
        pass

    def main(self, input_path, output_path):
        num = 0
        fp = open(output_path, 'w')
        for line in open(input_path):
            line = line.replace('\n', '')  # <--必要に応じて改行コードを変更
            norm_line = self.check(line.decode('utf-8'))
            if norm_line == -1:
                print 'ERROR: Input text is not unicode.'
                sys.exit()
            fp.write(norm_line + '\n')  # <--必要に応じて改行コードを変更
        fp.close()

    def check(self, text):
        """textを全角 JIS X 0208で構成されるように変換・除去し，返す
        """
        if type(text) != type(u''):
            return -1
        text2 = self.htmlentity2unicode(self.htmlentity2unicode(text))
        text_norm = unicodedata.normalize('NFKC', text2)
        text_zen = zenhan.h2z(text_norm)
        zyokyo_list = []
        for zen in text_zen:
            if zen not in self.char_list:
                zyokyo_list.append(zen)
        for zyokyo in zyokyo_list:
            text_zen = text_zen.replace(zyokyo, '')  # 除去
        return text_zen

    def htmlentity2unicode(self, text):
        """実体参照と文字参照を通常の文字に変換し返す
        http://www.programming-magic.com/20080820002254/
        """
        # 正規表現のコンパイル
        reference_regex = re.compile(u'&(#x?[0-9a-f]+|[a-z]+);', re.IGNORECASE)
        num16_regex = re.compile(u'#x\d+', re.IGNORECASE)
        num10_regex = re.compile(u'#\d+', re.IGNORECASE)

        result = u''
        i = 0
        while True:
            # 実体参照 or 文字参照を見つける
            match = reference_regex.search(text, i)
            if match is None:
                result += text[i:]
                break

            result += text[i:match.start()]
            i = match.end()
            name = match.group(1)

            # 実体参照
            if name in htmlentitydefs.name2codepoint.keys():
                result += unichr(htmlentitydefs.name2codepoint[name])
                # 文字参照
            elif num16_regex.match(name):
                # 16進数
                result += unichr(int(u'0' + name[1:], 16))
            elif num10_regex.match(name):
                # 10進数
                result += unichr(int(name[1:]))

        return result


if __name__ == '__main__':
    argvs = sys.argv
    argc = len(argvs)
    if argc != 4:
        print '以下の書式で実行してください'
        print 'python normalizer_sample.py [JIS X 0208文字一覧ファイル] [入力元のパス] [出力先のパス]'
        sys.exit()
    char_path = argvs[1]
    input_path = argvs[2]
    output_path = argvs[3]
    n = Normalizer(char_path)
    n.main(input_path, output_path)
    print 'DONE!!'
                    

python ["normalizer_sample.py"のパス] [JIS X 0208文字一覧ファイルのパス] [解析したい手順文書のパス] [出力先のパス]
                    

# -*- coding: utf-8 -*-
import sys


class Preparation(object):
    def __init__(self):
        pass

    def __del__(self):
        pass

    def main(self, input_path, output_path):
        num = 0
        fp = open(output_path, 'w')
        for line in open(input_path):
            line = line.replace('\n', '')  # <--必要に応じて改行コードを変更
            words = [w.split('/')[0] for w in line.split(' ')]
            fp.write(' '.join(words) + '\n')  # <--必要に応じて改行コードを変更
        fp.close()


if __name__ == '__main__':
    argvs = sys.argv
    argc = len(argvs)
    if argc != 3:
        print '以下の書式で実行してください'
        print 'python preparation_for_ner_sample.py [入力元のパス] [出力先のパス]'
        sys.exit()
    input_path = argvs[1]
    output_path = argvs[2]
    p = Preparation()
    p.main(input_path, output_path)
    print 'DONE!!'
                    

python ["preparation_for_ner_sample.py"のパス] [手順2で出力されたファイルのパス] [出力先のパス]
                    

# -*- coding: utf-8 -*-
import sys


class Finalizer(object):
    def __init__(self):
        pass

    def __del__(self):
        pass

    def main(self, input_path1, input_path2, output_path):
        num = 0
        fp = open(output_path, 'w')
        lists1 = []
        lists2 = []
        for line in open(input_path1): # 終止形復元結果付与後のもの
            line = line.replace('\n', '').split(' ')  # <--必要に応じて改行コードを変更
            lists1.append(line)
        for line in open(input_path2): # NERされたもの
            line = line.replace('\n', '').split(' ')  # <--必要に応じて改行コードを変更
            lists2.append(self._modify_Viob2(line))
        for list1, list2 in zip(lists1, lists2):
            restored_list = self._restore(list1, list2)
            output_list = self._join_words(restored_list)
            fp.write(' '.join(output_list) + '\n')  # <--必要に応じて改行コードを変更
        fp.close()

    def _modify_Viob2(self, input_list):
        """
        入力例）[糸/F-B 蒟蒻/F-I を/O 下茹で/Ac-B し/O ま/O す/O 。/O]
        出力例）[糸/F 蒟蒻/F を 下茹で/Ac し ま す 。]
        """
        output_list = []
        for item in input_list:
            if item == '':
                continue
            item = item.split('/')
            if item[1] == 'O':
                output_list.append(item[0])
            else:
                output_list.append(item[0] + '/' + item[1].split('-')[0])
        return output_list

    def _restore(self, input_list1, input_list2):
        """
        入力１例）[糸/名詞/名詞-普通名詞-一般+/し/NA,蒟蒻/名詞/名詞-普通名詞-一般+/こんにゃく/NA,...]
        入力２例）[糸/F 蒟蒻/F を 下茹で/Ac し ま す 。]
        出力例）  [糸,名詞,名詞-普通名詞-一般+,し,NA/F 蒟蒻,名詞,名詞-普通名詞-一般+,こんにゃく,NA/F ...]
        """
        output_list = []
        for item1, item2 in zip(input_list1, input_list2):
            item1 = item1.split('/')
            if '/' in item2:
                item2 = item2.split('/')
            else:
                item2 = [item2, '']
            if item1[0] != item2[0]:
                print 'ERROR: item1 != item2 at _restore'
                sys.exit()
            if item2[1] == '':
                output_list.append(','.join(item1))
            else:
                output_list.append(','.join(item1) + '/' + item2[1])
        return output_list

    def _join_words(self, input_list):
        """
        入力例）[糸,名詞,名詞-普通名詞-一般+,し,NA/F 蒟蒻,名詞,名詞-普通名詞-一般+,こんにゃく,NA/F ...]
        出力例）[糸,名詞,名詞-普通名詞-一般+,し,NA=蒟蒻,名詞,名詞-普通名詞-一般+,こんにゃく,NA/F ...]
        """
        tag_list = []
        for item in input_list:
            item = item.split('/')
            if len(item) == 1:  # タグなし
                tag_list.append('')
            else:
                tag_list.append(item[1])
        i = 0
        output_str = ''
        for item in input_list:
            if tag_list[i] == '':  # タグなし
                output_str += item + ' '
            else:
                if i == (len(input_list) - 1):  # 最後の単語
                    output_str += item + ' '
                else:
                    if tag_list[i] == tag_list[i + 1]:  # 次単語と同一タグ
                        output_str += item.split('/')[0] + '='
                    else:
                        output_str += item + ' '
            i += 1
        output_list = output_str.split(' ')[:-1]
        return output_list

if __name__ == '__main__':
    argvs = sys.argv
    argc = len(argvs)
    if argc != 4:
        print '以下の書式で実行してください'
        print 'python finalizer_sample.py [手順3で出力されたファイルのパス] [手順5で出力されたファイルのパス] [出力先のパス]'
        sys.exit()
    input_path1 = argvs[1]
    input_path2 = argvs[2]
    output_path = argvs[3]
    f = Finalizer()
    f.main(input_path1, input_path2, output_path)
    print 'DONE!!'
                    

python ["finalizer_sample.py"のパス] [手順3で出力されたファイルのパス] [手順5で出力されたファイルのパス] [出力先のパス]