最近マーケティングオートメーション界隈では、「機械学習を使った予測スコアリング」なんてモノをよく聞きます。マーケティングオートメーションというバズワードに機械学習というバスワードを重ねてくるあたりに趣を感じます。

近くでかかわっているいる者からすれば、双方とも実態がなくバズっているわけではないのですが、「機械学習(人工知能)使えば、マーケティングは全て自動化される」なんて事を言う困ったちゃんがいたりして、いやはやなんとも言えない気持ちになります。言葉に罪はないんですよ。

ひじょうに敷居がたかく感じる機械学習ですが、さいきんではかなり気軽に試すことができます。

データサイエンティストではない私も、Amazon Machine Learningを使って予測スコアリングを試しています。そこでいろいろと感じることがありましたので、いちユーザーとして、「機械学習を使った予測スコアリング」を利用する立場からの意見をまとめてみます。

予測スコアリングとは

機械学習を使った「予測スコアリング」は、いろいろ製品も出ており、とてもにぎやかな市場です。ガートナーさんのマルチチャネルキャンペーン管理でも、予測スコア(predict score)はかなり言及されています。

機械学習を使った予測スコアリングを乱暴に説明すると、「ウェブページ閲覧履歴やメール履歴などのマーケティングデータ(説明変数)と、CRM/SFAにある購買情報(目的変数)をツールに渡せば、受注できるかどうかを自動でスコアリングしてくれる」というものです。

「このページを見たら3点で、メールクリックで1点。あ、リクルートページは減点で-3」などと手作業でやっていたスコアリングを、機械学習で自動化してしまおうって寸法。

AMLでカジュアル予測スコアリング

機械学習を使った予測スコアリングは、特別に高価なツールなんて使わなくても、手軽に試すことが可能です。

そう、AWSならね。

aws.amazon.com

AML(Amazon Machine Learning)なら、機械学習を使った予測スコアリングを試すのに必要なコストは数百円です。CSVをつくってアップロードで完結するのでノンプログラミングでオッケー。(まぁ、すぐにpythonが必要になりますけどね)

なんていうか、スゴイ時代になったものです。

気軽にはじめて改善で詰む

気軽には試せるんですが、気軽には成果が出てくれない。改善フェーズでしねます。

データサイエンティストがいれば違うのでしょうが、多くの企業(部門)にはいないですよね。

この状況で「予測スコアリング、結果ダメでした」ってなると、効果的な改善策が思いつかないという状況がやってきます。こんにちは。

仕方なく改善のために、データソースを変えて、オペレーションを回し続けるという暗く長いトンネルにはいりますが、これが望んでいた未来でしたっけ？

オペレーションを回すためにデータソースを変えようにも、「データが機械学習向きになっていない」問題がやってきます。こんばんは。

メールクリックで考えてみます。うまく機械様に学習してもらうには、「半年以内にメールをクリックした回数」なんて情報では成果をだしてくれません。

機械様に成果をだしてもらうためには、メールクリックに意味を持たせたいです。「これはメルマガのクリック」、「これは属性情報で絞り込んで送ったオファーメールのクリック」、「こっちは履歴情報で絞り込んだフォローメールのクリック」みたいに。

でも、そもそもクリックデータにそんなメタデータなんぞはないんです。

解決するためには、メールクリックなどの履歴情報にメタデータを付与する必要があるんですが、誰がするのでしょうか。それ。

メタデータの整理には、ビジネスドメインの知識と適切な問題設定ができる人がいるんですが……　そんな人どこにいるの？　いたとしても、その人を予測スコアリングの準備のために働いてもらうの？

(ディープラーニングであれば、CRM系データのように少ない情報でも自動的に特徴抽出をしてくれるんだろうか？　偉い人に教えてほしい)

費用対効果を考えると……

機械学習に取り組むコストは非常に下がっていますが、運用しようとすると、かなりの労力が必要です。

こうなると「予測スコアとメールA/B、どっちが効果が高いのかな」って遠い目をしだします。予測スコアがそこそこ精度出たとしても、それより広告をつくった方がコンバージョン獲得できるのでは？　と思うのが人情です。

そもそも、スコアで定量評価しても、コンテンツが糞なら1ミリも課題は解決しないしね。これは予測スコアリングだけでなく、ルールベースのスコアリングについても同様なんですが。

DMPのオーディエンス拡張に似ている

現在の予測スコアリングのおかれている状況、なにかに似ているな、とおもったら少し前の「DMPによるオーディエンス拡張」なんですよね。

「あなたのCRMデータに似ている人に広告配信しましょう」って。複雑だけど新しいものって、興奮するんですよ。取り組んでいるだけで頭良さそうにみえるし。ごめんなさい、ごめんなさい。

成果が出ているときはいいんですよ。「いやー、やっぱりテクノロジーは偉大だねー」なんておいしくお酒が飲める。

でも、成果がでなくなった途端に詰むんです。「そもそもさー、どうやって似ているって判断しているわけ、間違ってんじゃない。」なんて話が急くる。でも、よくわかってないとキチンと説明できない。

そうなると「普通のディスプレイで、シンプルにクリエイティブA/Bを繰り返していけば？」ってなる。

一部の頭がいい人を除くと、負けが続いている状況下では、理解できずに説明が難しいものよりも、シンプルで素早く繰り返せるものに頼りたくなるんです。

結論、成果をもとめるなら今じゃない

否定的な事ばかり書いていますが、5〜10年スパンでみれば、予測スコアリングは重要なマーケティングツールになってくると思うんですよ。結構本気で。

なにかアクションするまえに、事前に結果を予測してくれるかもしれない。あなたがこれから打つメールでコンバージョンするスコアは◯点みたいに。

ただ、ユーザーとして予測スコアリングに取り組むならやめたほうがいいかも。あと数年は「俺はアーリアダプターなんだ！」という自尊心以外得るものが少ない気がします。

もういちど。成果をもとめるなら今じゃないです。まあ、やれば勉強になるし楽しいですけどね :)

ツールとしてはA/Bテストのように機械学習モデルをつかいたい

分からないなりに取り組んで分かったのは、「機械学習をつかった予測スコアリングで成果を出すためには、説明変数をいろいろ試して運用していく必要がある」ということ。

ここから、予測スコアリングツールにいきなり成果がでるモデル構築を期待するのは無理筋だという事がわかります。

予測スコアリングツールに望むのは、A/Bテストツールのように複数モデルを同時に走らせて成果が良い方を選択できるようにする仕組みです。ディスプレイのクリエイティブのように機械学習のモデルを扱えたら運用できる気がします。

バッチ型の機械学習しか試していないので、このような結論になるのでしょうか。オンライン型の機械学習ならこの辺りは解決するのでしょうか。教えてほしい。