JPOPの歌詞で使われる言葉のトレンドをpythonで分析してみた

はじめに

この記事はwacul アドベントカレンダーの6日目です。

「歌詞で使われる言葉の流行り廃りを可視化してみたら、思いがけない気づきなどありそうで面白いのでは？」 との思いつきのもと、データを入手して¹いくつかの観点で分析するということをやりました。
ある言葉が何をもって流行ってるor廃ってるとするかは色々な見方があると思いますが、ここではシンプルに、「ある言葉が、以前と比べてより多くの曲で使われるようになったら流行ってる。少なかったら廃ってる」とします²。ある言葉（単語）が１つの曲で複数回登場する場合がありますが、１回使われたとカウントします。（フレーズの繰り返しで出現頻度が水増しされてしまうのを防ぐため）

また、分析対象期間は入手できたデータ量のバランス等考えて1991年〜2017年としました。
データのサマリは以下の通りです。³

＜全期間合計＞

年代別、出現頻度の高い言葉ランキング

まず、３年スパンでの出現頻度は以下のようになりました。

それぞれの単語について、それぞれの年代においてどの程度の割合出現するのかを調べると以下のようになりました。割合は、 （その単語の出現頻度）/（全ての曲数）*100 で計算しました。

上位10位まではほぼ20%、つまり５曲に１曲は該当の言葉が使われていることがわかりました。１位になると概ね30%の割合で使われています。

時間が経つごとに流行っていった言葉

次は、時間軸上に沿った「出現頻度の変化」、つまり「流行り」に着目します。具体的には、2017年に50位以内に入ったそれぞれの言葉に対して回帰係数を計算して、大きい順に5つ、1991-2017年の変化を可視化してみます。

回帰係数は、大きい順に「世界」「未来」「手」「君」「僕ら」となりました。「世界」については1991年に5%程度だったものが2017年には20%近く使われるようになっており、４倍近くまで伸びていることがわかりました。

流行りの言葉をよく使うアーティストを探す

次は、流行りの言葉、ここでは「世界」または「未来」を多用したアーティストをリストアップします。ただし、ある程度のサンプル数を確保したいため全曲数が10以上のアーティストに限定しました。

世界

未来

時間が経つごとに廃れていった言葉

次は、逆に廃れていった言葉を見ていきます。具体的には、1991年に50位以内に入ったそれぞれの言葉に対して回帰係数を計算して、小さい順に5つ、1991-2017年の変化を可視化してみます。

回帰係数は、小さい順に「あなた」「恋」「愛」「二人」「瞳」でした。

おわりに

歌詞データの分析内容を紹介しました。個人的に、今は昔に比べて語感の軽い言葉が選ばれる傾向にあると感じました。二人称として、「あなた」が廃れて「君」が流行ったことなどわかりやすいです。また、最近は「愛」や「恋」といったストレートに内容をイメージできる言葉が避けられ、代わりに「世界」や「未来」といった受け手に想像の自由を多く与えるタイプの曖昧な言葉が選ばれているのがいかにも現代という感じで面白いと思いました。アニソンの影響があるかもしれません。

おまけ

最後に、一応技術っぽい話を書いておきます。

重い処理の結果得られるデータをキャッシュしておき、キャッシュが存在する場合は次回からはこちらから読み込む

みたいな処理、データ解析タスクをやってると稀によくあると思うのですが、どうやるのがベストでしょうか？使いやすいライブラリがあればそれを使いたいのですが（いかにもありそう）、寡聞にして知らないため以下のようなラッパー関数を定義して使ってます。

def cache_located_at(name):
    """
    STORAGE_DIRをルートディレクトリするpickle置き場で読み書きするのをサポートする関数
    """
    def _func(f):
        def __func(*args, **kwargs):
            filepath = os.path.join(STORAGE_DIR, name)
            if os.path.isfile(filepath):
                with open(filepath, 'rb') as fp: 
                    obj = pickle.load(fp)
                return obj 
            result =  f(*args, **kwargs)

            with open(filepath, 'wb') as fp: 
                pickle.dump(result, fp) 
            return result
        return __func
    return _func

呼び出し側はこういう感じ。resultが自動でpickle化されて os.path.join(STORAGE_DIR, analysis, hogehoge.pickle) に保存され、このファイルが存在する限りこちらから読むようになります。

@cache_located_at('analysis/hogehoge.pickle')
def very_heavy_process():
    # 様々な処理
    return result

pandasのrank関数

は、とても便利なので使うべきだと思います。何かをソートする時にsort_valuesを良く使っていたのですが、今回のようなランキングを出すタイプのタスクではsort_valuesしてたところをrankに変えると非常に見通しが良くなったりしました。