アンケートで「非常に満足」はつけにくい？心理にひそむ葛藤を調べてみました。
こんにちは、ペンシルです✍️
ペンシルの研究開発部門であるヒューマナライズマーケティング研究室
特殊研究機関『is』のラボメンNo003、橋本と申します。
日頃はアンケートの設計やデータの集計・分析業務をおこなっています。
業務の特性上、アンケートに関して考える時間が多いのですが、個人的にアンケートの設計って、厳密にやろうとすればするほど白黒つけがたい問題が多くあって難しいと思います。
「選択肢に「どちらでもない」は入れた方がいいのか、入れないほうがいいのか？」や「段階評価をするような設問は何段階がベストなのか？」などなど。
研究者の議論でも決着がついていないものでもあるので、そこに対して何かを断言することはできませんが、少しでも回答者のインサイトが見える調査を行えるよう、自分なりに試行錯誤を重ねています。
ということで、今後こちらにて、アンケートに関する素朴な疑問や興味を調査し、発信していければと思いますので、よろしくおねがいします！
５段階評価の設問に対する素朴な疑問
第１弾となる今回のテーマは
『５段階評価における各選択肢は心理的に見ても等間隔なのか？』
です。
日頃アンケートに関わりがない方からすると「？」だと思いますが、普段からよく目にしているものなので安心してください。
まずは、「５段階評価の設問」とは何か？についてです。
それは下図のような設問を指します。
おそらく、皆さんもこれまで一度は目にしたことがあるのではないでしょうか？
ちなみに、こういった評価スタイルのことをリッカート尺度と呼びます。
「はい・いいえ」でしか答えられない２択の質問に比べて、程度をより細かく測ることができるメリットがあり、幅広い場面で使用されています。
次に、「なぜ５段階評価の設問の等間隔性にフォーカスしているのか？」ですが、5段階評価の設問には次のような前提があります。
『５段階評価の５項目（例. １:まったくそう思わない、２:あまりそう思わない、３:どちらでもない、４:まあそう思う、５:非常にそう思う）は意味的間隔が保たれている』
どういうことかというと、
「３:どちらともいえない」と「４:まあそう思う」の"意味的な"差と、
「４:まあそう思う」と「５:非常にそう思う」の"意味的な"差
は等しいということです。
イメージしづらい方は、等しくない場合を想像すると理解しやすいかもしれません。
もしも５段階評価の選択肢が「１：全くそう思わない ２：全然そう思わない・・・」のような感じだった場合、言葉の意味的には「１」も「２」も程度がほとんど一緒で、図にした場合の両者の距離は非常に近い感じがしますよね。
こういった選択肢は適切とは言えません。
これは当たり前といえば当たり前のことです。
データを取った後、これらをそのまま点数化して、あれこれ分析していくので目盛りの幅がバラバラでは使い物になりません。
そのため選択肢の名前（例. １:まったくそう思わない、２:あまりそう思わない、など）を設定する際は、可能な限り等間隔に感じるものを設定することが大切なわけです。
ちなみに例で提示している５段階評価の選択肢は先行研究によって一定の等間隔性が担保されている表現です。（織田,1970）
しかし、ここで１つの疑問が浮かびます。
「確かに意味的には等間隔になっているけれど、回答する人の心理的にはどうなのだろう？」と。
皆さんは、「『４:まあそう思う』は選びやすいけれど、『５:非常にそう思う』はなんか気が引けてしまうなあ」と感じたことはないでしょうか？
私は１や５などの両端の選択肢を選択する際は、いつも言葉にできない葛藤があり、結果として４を選択してしまいます。
先行研究においても、日本人は両端の選択肢を避ける傾向にあることは示唆されておりますし（Chen et al.,1995）感覚的にも何となくそんな感じはしますよね。
ではその葛藤とはどの程度のものなのか実際に調べてみたくなりました。
これが今回の調査の発端です。
もし『５:非常にそう思う』の評価を下す際の心理的な負担が、『４:まあそう思う』の評価を下す際の心理的な負担よりも大きいのであれば、例えば満足度調査などで評価を『４』から『５』へ上げることは見かけ以上に大変ということになります。
心理的にも選択肢は等間隔？
一部では等間隔ではない結果に
ということで、さっそくアンケートを実施し検証してみました。
今回は「３:どちらともいえない」→「４:まあそう思う」のように、評価が１段階変化する状況を仮定し、その際の悩み度合い（葛藤）を１０段階で回答してもらうことで、選択肢間の心理的なハードルについて調べます。
評価の１段階変化に関しては、評価が上がっていく場合と、下がっていく場合の２パターンがあるので、両方のパターンで調べました。
調査対象者は社内スタッフ、アンケートはGoogle formで実施しました。
結果は、「選択肢ごとの心理的な負担は、一部、等間隔ではない」というものでした。
具体的には、
『満足度の評価が上がる場合において、「４:まあ満足している→５:非常に満足している」の心理的なハードルは「３:どちらともいえない→４:まあ満足している」のハードルに比べると有意に高い』
ことがわかりました。
※ ５段階評価の設問において、評価を変化させる場合の悩み度合いが選択肢によって異なるか、参加者内 1 要因分散分析によって検討したところ、主効果は有意で（F（3, 75）= 4.323 , p = .021 , ηp 2 = .147）、「４:まあ満足している→５:非常に満足している」の方が「３:どちらともいえない→４:まあ満足している」より悩み度合いが高かった。
この結果が示すこととして
『４:まあそう思う』→『５:非常にそう思う』と、
『３:どちらともいえない』→『４:まあそう思う』
は選択肢的には同じ１段階の差ではあるものの、
『４:まあそう思う』→『５:非常にそう思う』には大きな心理的ハードルがあり、仮に満足度が向上していても心理的なハードルによって『４:まあそう思う』にとどまってしまう可能性はありそうです。
そのため定点的に満足度などのスコアを５段階評価のような形で追いかけている場合、ユーザーそれぞれにおいてスコアが「４」に到達した以降は、前述の心理的ハードルによって改善が数値に表れない可能性も視野にいれるべきかもしれません。
また、面白いことに『満足度の評価を下げていく場合においては、特に心理的なハードルの違いはありませんでした。』
つまり
「２:あまり満足していない→１:非常に満足していない」
のように最低評価をつける場合でも、
心理的な悩み度合いとしては他の場合と大差ないということです。
評価が下がる時は、踏みとどまることなく一気に下がってしまう可能性は高いと言えるかもしれません。
最後に
今回の調査は環境統制を行っておらず、バイアスの影響は最小化できていません。また、「評価を下す際の心理的な負担」と関しても、回答者に直接数値化してもらう方式をとっているので、妥当性についても今後の課題点であると感じています。したがって、「意味的な等間隔性が保たれている５段階評価の設問であっても、評価する際の心理的ハードルは等間隔ではない」と結論づけるにはまだ早計であると考えます。
しかし、今回の調査の中で有意差が見られ、概ね想定通りの結果になっていることからも掘り下げていく価値のある仮説だとは考えています。
今後やり方を見直した上で、「どうすれば心理的にもフラットに回答できるのか」という点も視野に入れつつ、引き続き調査は続けていきたいと思います。
次回予告
次回は『中立的尺度について』です。
「中立的尺度」とは５段階評価における「３：どちらともいえない」のような中立的な立場を表す選択肢です。
こちらも、
「中立的尺度は設けたほうが良いのか、それともないほうが良いのか」
「中立的尺度を選んだ回答者はどう捉えるべきなのか」
といった疑問の尽きないテーマであり、研究者間でも様々な議論がされていますが、改めて調べてみたら実際どうなんだろうという部分を検証していきます。
次回もお楽しみに！
参考
Chen, Chuansheng, Shin-ying Lee and Harold W. Stevenson, 1995, Response Style and Cross-Cultural Comparisons of Rating Scales among East Asian and North American Students, Psychological Science 6(3) pp. 170-175.
コメント