「この調査、もっと良くすることできませんか？」、「〇〇の効果を知りたいんですけど、この調査からどうすればわかりますか？」といった相談をよく受ける。
大学では政策評価教育研究センターに所属しており、調査やデータ分析に関する相談は大歓迎だ。官公庁、自治体、団体、民間企業を問わず、ぜひ力になりたいと思っている。*1
しかし、冒頭のような相談はなかなかやっかいだ。調査内容がほぼ固まった、ないしは調査が既にスタートしてしまった段階でできることは、ほとんど無いからだ。
「設計ミス」のある調査からは何も学べない
よくあるパターンのひとつは、調査が終了してからの「〇〇の効果を知るにはどういう分析をすればいいですか」という相談だ。データ分析によって、何かの政策・介入効果を知ることができるかどうかは、調査設計によって決まる。調査設計に失敗していれば、どんなに洗練された統計手法や、高度なAI・機械学習を適用しても、政策・介入効果について知ることはできない。
中でもよく目にするミスは、ある政策なり、介入なりの効果を知りたいのに、それが実際に行われた後のみについて調査を行うというものだ。効果を知りたいならば、せめてその政策なり介入なりが行われた後だけでなく、行われる前についても調べなければならない。適切な比較もなしに、効果があったかどうかなど、わかりようもないのだ。
「設計ミス」は取り返せない
もうひとつのパターンは、第一回目の調査が実施済みで、第二回目以降の調査についてアドバイスがほしいというものだ。この手の継続調査、追跡調査のキモは、回を変えても同じ質問を聞き続け、調査対象の回答がどのように変化していくかを追跡していくところにある。毎回コロコロ聞くことを変えてしまっては、追跡調査としての意味がないのだ。
この場合、私ができる最善のアドバイスは「ぜひ、同じ質問を続けて聞いてください。文言も変えないように。」というものである。第一回目の調査がまずかったとしても、後でリカバリーなどできない。やるとしたら、第一回目からやり直すしかない。
早い段階で専門家に相談を！
調査の質を上げることができるのは、それが始められるまでだ。持ち込まれる相談に対しては、最大限建設的なアドバイスをするようにしているが、「手遅れ」になってしまっている場合、大してお役に立てない。
調査の質を最善のものにしたいのならば、ぜひ早い段階で専門家に相談してほしい。規模が小さいものでも、調査には大金がかかる。そのお金を無駄にしたくないのならば、手間を惜しまず、調査設計の初期段階で専門家の力を借りるべきだ。
*1:これまでに料金を頂いたことはなく、無料でやってきている。条件にしているわけではないが、相談に乗った調査から得られたデータを研究目的で使わせてもらえれば非常にありがたい。