- mecab-dict-index（ユーザ辞書作成に必要なコンパイラ）
    - /usr/lib/mecab/mecab-dict-index

- システム辞書
    - /var/lib/mecab/dic/mecab-ipadic-neologd

- MeCabの設定ファイル
    - /etc/mecabrc

定義）表層形, 左連接状態番号, 右連接状態番号, コスト, 品詞, 品詞細分類1, 品詞細分類2, 品詞細分類3, 活用型, 活用形, 基本形, 読み, 発音,（タグ）
例1）量子コンピュータ,-1,-1,-1,名詞,一般,*,*,*,*,*,*,*,selectdic
例2) 買収,-1,-1,-1,名詞,一般,*,*,*,*,*,*,*,selectdic
例3) 量子,-1,-1,-1,名詞,一般,*,*,*,*,*,*,*,selectdic

userdic = /home/user名/userDic/select_dic.dic

AWS Access Key ID [None]: xxxxxxxxxx（IAMユーザ作ったを際のアクセスキー）
AWS Secret Access Key [None]: xxxxxxxxxx（IAMユーザ作ったを際のシークレットアクセスキー）
Default region name [None]: ap-northeast-1（開発を行っているリージョン）
Default output format [None]: json（出力形式）

# スクレイピング用ライブラリのインポート
from bs4 import BeautifulSoup 
# HTTP通信用ライブラリのインポート（標準）
import urllib.request, urllib.parse

####### 変数解説 #######
# url : スクレイピング対象のURL
# parser : HTML解析器
# headers : firefoxに偽装するためのユーザーエージェントヘッダー

url = "https://finovate.com/blog/"
parser = "html.parser"
headers = {
    "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
        }

# HTTP通信を行いホームページにrequest、HTMLの取得
request = urllib.request.Request(url = url, headers = headers)
html = urllib.request.urlopen(request).read().decode("utf-8")

# パーサーのインスタンス化
parser = BeautifulSoup(html, parser)

# タイトルが記載されている、h2, aタグがネストされたリストを取得
# 実際にHTMLを確認し、どのように解析すればほしい情報が取得できるか解析する必要がある
allh2Tag = parser.select("h2 a")

# h2, aタグのネストされたリストから、必要な情報を取得
for tag in allh2Tag:
    url = tag.get("href")
    title = tag.string
    print("url : " + url)
    print("title : " + title + "\n")

url : https://finovate.com/ntt-data-services-to-acquire-sierra-systems/
title : NTT DATA Services to Acquire Sierra Systems

url : https://finovate.com/quid-lands-37-5-million-round-led-by-lexis-nexis-parent/
title : Quid Lands $37.5 Million Round Led by Lexis Nexis Parent

url : https://finovate.com/finovate-alumni-news-871/
title : Finovate Alumni News

url : https://finovate.com/welcome-to-finovateasia-2/
title : Welcome to FinovateAsia

url : https://finovate.com/welcome-to-wan-chai-finovateasia-kicks-off-hong-kong-fintech-week/
title : Welcome to Wan Chai: FinovateAsia Kicks Off Hong Kong FinTech Week

url : https://finovate.com/swych-powers-wechats-travelex-pay-service/
title : Swych Powers WeChat’s Travelex Pay Service

url : https://finovate.com/finovate-alumni-news-870/
title : Finovate Alumni News

url : https://finovate.com/yoyo-lands-30-million-partnership-agreement/
title : Yoyo Lands $30 Million Partnership Agreement

url : https://finovate.com/ondeck-partners-with-pnc-bank-to-streamline-sme-financing/
title : OnDeck Partners with PNC Bank to Streamline SME Financing

url : https://finovate.com/finovateasia-is-days-away/
title : FinovateAsia is Days Away

量子コンピュータ,-1,-1,-1,名詞,一般,*,*,*,*,*,*,*,selectdic
買収,-1,-1,-1,名詞,一般,*,*,*,*,*,*,*,selectdic
量子,-1,-1,-1,名詞,一般,*,*,*,*,*,*,*,selectdic

# 形態素解析用ライブラリのインポート
import MeCab

# MeCabのどのシステム辞書を使うか指定
mecab = MeCab.Tagger("-d /var/lib/mecab/dic/mecab-ipadic-neologd")
#おまじない⇛これがないと文字コードエラーが起きる模様
mecab.parse("")

# 対象のニュースタイトル１つ目
test_text = "量子コンピューターの「米中競争」が過熱──競り合うグーグルとアリババは、量子超越性を達成できるか"
mecab_node = mecab.parseToNode(test_text)

print("ニュースタイトル① : " + test_text)

# すべての形態素（単語）に対して解析を行う
while mecab_node:

    print("原型 : " + mecab_node.surface)
    print("形態素 : " + mecab_node.feature)

    # 形態素を分割
    detail = mecab_node.feature.split(",")

    # 形態素の10番目に値が入っている場合、出力
    # ⇛ユーザ辞書で登録されているワードであることが確認できる
    try:
         print(detail[9] + "⇛ユーザ辞書に膨れまれているワードです\n")
    except IndexError as e:
        pass

    mecab_node = mecab_node.next

print("---------------------------------------------------------------------------")

# 対象のニュースタイトル2つ目
test_text2 = "中国アリババのクラウド事業がAWS並のバケモノになりつつある件"
mecab_node2 = mecab.parseToNode(test_text2)

print("ニュースタイトル② : " + test_text2)
# すべての形態素（単語）に対して解析を行う
while mecab_node2:

    print("原型 : " + mecab_node2.surface)
    print("形態素 : " + mecab_node2.feature)

    detail = mecab_node2.feature.split(",")

    # 形態素の10番目に値が入っている場合、出力
    # ⇛ユーザ辞書で登録されているワードであることが確認できる
    try:
         print(detail[9] + "⇛ユーザ辞書に膨れまれているワードです\n")
    except IndexError as e:
        pass

    mecab_node2 = mecab_node2.next 

ニュースタイトル① : 量子コンピューターの「米中競争」が過熱──競り合うグーグルとアリババは、量子超越性を達成できるか
原型 : 
形態素 : BOS/EOS,*,*,*,*,*,*,*,*
原型 : 量子コンピューター
形態素 : 名詞,固有名詞,一般,*,*,*,量子コンピュータ,リョウシコンピューター,リョーシコンピューター
原型 : の
形態素 : 助詞,連体化,*,*,*,*,の,ノ,ノ
原型 : 「
形態素 : 記号,括弧開,*,*,*,*,「,「,「
原型 : 米中
形態素 : 名詞,固有名詞,人名,姓,*,*,米中,ヨネナカ,ヨネナカ
原型 : 競争
形態素 : 名詞,サ変接続,*,*,*,*,競争,キョウソウ,キョーソー
原型 : 」
形態素 : 記号,括弧閉,*,*,*,*,」,」,」
原型 : が
形態素 : 助詞,格助詞,一般,*,*,*,が,ガ,ガ
原型 : 過熱
形態素 : 名詞,サ変接続,*,*,*,*,過熱,カネツ,カネツ
原型 : ─
形態素 : 記号,一般,*,*,*,*,─,─,─
原型 : ─
形態素 : 記号,一般,*,*,*,*,─,─,─
原型 : 競り合う
形態素 : 動詞,自立,*,*,五段・ワ行促音便,基本形,競り合う,セリアウ,セリアウ
原型 : グーグル
形態素 : 名詞,固有名詞,組織,*,*,*,Google LLC,グーグル,グーグル
原型 : と
形態素 : 助詞,並立助詞,*,*,*,*,と,ト,ト
原型 : アリババ
形態素 : 名詞,固有名詞,一般,*,*,*,アリババ,アリババ,アリババ
原型 : は
形態素 : 助詞,係助詞,*,*,*,*,は,ハ,ワ
原型 : 、
形態素 : 記号,読点,*,*,*,*,、,、,、
原型 : 量子
形態素 : 名詞,一般,*,*,*,*,*,*,*,selectdic
selectdic⇛ユーザ辞書に膨れまれているワードです

原型 : 超越
形態素 : 名詞,サ変接続,*,*,*,*,超越,チョウエツ,チョーエツ
原型 : 性
形態素 : 名詞,接尾,一般,*,*,*,性,セイ,セイ
原型 : を
形態素 : 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
原型 : 達成
形態素 : 名詞,サ変接続,*,*,*,*,達成,タッセイ,タッセイ
原型 : できる
形態素 : 動詞,自立,*,*,一段,基本形,できる,デキル,デキル
原型 : か
形態素 : 助詞,副助詞／並立助詞／終助詞,*,*,*,*,か,カ,カ
原型 : 
形態素 : BOS/EOS,*,*,*,*,*,*,*,*
---------------------------------------------------------------------------
ニュースタイトル② : 中国アリババのクラウド事業がAWS並のバケモノになりつつある件
原型 : 
形態素 : BOS/EOS,*,*,*,*,*,*,*,*
原型 : 中国
形態素 : 名詞,固有名詞,地域,国,*,*,中国,チュウゴク,チューゴク
原型 : アリババ
形態素 : 名詞,固有名詞,一般,*,*,*,アリババ,アリババ,アリババ
原型 : の
形態素 : 助詞,連体化,*,*,*,*,の,ノ,ノ
原型 : クラウド
形態素 : 名詞,固有名詞,一般,*,*,*,CROWD,クラウド,クラウド
原型 : 事業
形態素 : 名詞,一般,*,*,*,*,事業,ジギョウ,ジギョー
原型 : が
形態素 : 助詞,格助詞,一般,*,*,*,が,ガ,ガ
原型 : AWS
形態素 : 名詞,固有名詞,一般,*,*,*,エーダブリューエス,エーダブリューエス,AWS
原型 : 並
形態素 : 名詞,一般,*,*,*,*,並,ナミ,ナミ
原型 : の
形態素 : 助詞,連体化,*,*,*,*,の,ノ,ノ
原型 : バケモノ
形態素 : 名詞,固有名詞,一般,*,*,*,バケモノ,バケモノ,バケモノ
原型 : に
形態素 : 助詞,格助詞,一般,*,*,*,に,ニ,ニ
原型 : なり
形態素 : 動詞,自立,*,*,五段・ラ行,連用形,なる,ナリ,ナリ
原型 : つつ
形態素 : 助詞,接続助詞,*,*,*,*,つつ,ツツ,ツツ
原型 : ある
形態素 : 動詞,自立,*,*,五段・ラ行,基本形,ある,アル,アル
原型 : 件
形態素 : 名詞,一般,*,*,*,*,件,ケン,ケン
原型 : 
形態素 : BOS/EOS,*,*,*,*,*,*,*,*

{
  "TableName": "NewsTable",
  "AttributeDefinitions": [
    {
      "AttributeName": "id",
      "AttributeType": "S"
    },
    {
      "AttributeName": "category",
      "AttributeType": "S"
    }
  ],
  "KeySchema": [
    {
      "KeyType": "HASH",
      "AttributeName": "id"
    },
    {
      "KeyType": "RANGE",
      "AttributeName": "category"
    }
  ],
  "ProvisionedThroughput": {
    "WriteCapacityUnits": 5,
    "ReadCapacityUnits": 5
  }
}

import boto3
from boto3.dynamodb.conditions import Key, Attr
import sys

# NewsTableへのdaoのアクセス定義
# localの場合
# dynamodb = boto3.resource('dynamodb',endpoint_url='http://localhost:8000')
# AWS DynamoDBサービスの東京リージョン(ap-northeast-1)を指定
dynamodb = boto3.resource('dynamodb',region_name='ap-northeast-1')
table = dynamodb.Table('NewsTable')

sys.setrecursionlimit(100000)

# NewsTableに対応したDao
class NewsTableDao:

    def __init__(self):
        pass

    # 各レコードに対応したニュース（辞書型）を渡すことで、一括登録するメソッド
    def saveNews(self, news):

        table.put_item(Item = news)

    # scan（全量取得）したデータに対して、day項目で絞って取得するメソッド
    def selectNewsList(self, day):

        JaNewsList = table.scan(FilterExpression = Attr('day').eq(day))
        return JaNewsList

# NewsTableに登録するNewsに対応したオブジェクト用クラス
class News:

    def __init__(self, id, category, day, time, news, url):
        self.id = id
        self.category = category
        self.day = day
        self.time = time
        self.news = news
        self.url = url

    def to_dict(cls):

        return {
        "id" : cls.id,
        "category" : cls.category,
        "day" : cls.day,
        "time" : cls.time,
        "news" : cls.news,
        "url" : cls.url
        }

def main():

    id = "001"
    category = "Cloud"
    day = "20180101"
    time = "000000"
    news = " 量子コンピューターの「米中競争」が過熱──競り合うグーグルとアリババは、量子超越性を達成できるか"
    url = "http://xxxxxxyyyyy"

    # ニュースの各変数をBean（Newsクラス）に格納
    news = News(id, category, day, time, news, url)

    newsDao = NewsTableDao()

    # ニュースの登録
    newsDao.saveNews(news.to_dict())

    # 登録したニュースの取得
    print(newsDao.selectNewsList(day)['Items'])


if __name__ == '__main__':
    main()

[{'category': 'Cloud', 'time': '000000', 'day': '20180101', 'id': '001', 'url': 'http://xxxxxxyyyyy', 'news': ' 量子コンピューターの「米中競争」が過熱──競り合うグーグルとアリババは、量子超越性を達成できるか'}]