メカAG 疑似科学ニュースの雇用に関する認知的不協和をつついてみる(6): ニュースの社会科学的な裏側 http://www.anlyznews.com/2015/02/6.html | 追記(2015/02/10 19:30): | その疑問には既に答えた。大数の法則で誤差がゼロに平均回帰していくので、標準偏差（←誤差の大きさ）が17でも24個足すと3.5まで落ちる。毎月の変化がほとんど誤差でも、データの量によっては月次バイアスを捉えられないわけではない。uncorrelatedって統計に「詳しい」というわりには、繰り出してくるネタが、つまらないんだよね。LNTの話の時は対照実験についてさんざん解説をしていただいた。退屈だったが…。一応俺も人がいいから「そんなの知ってるよ」というのを憚ってずっと聞き流していたら、繰り返し繰り返し語るんだよね。「こんなに説明してるのにメカAGはなんで理解しないんだ」とばかり。いや、理解した上でもっと違う話をしてるんだ、と。ただLNTの時は逆に俺もuncorrelatedが何をいいたいのかわからなかったんだよね。uncorrelatedは説明が下手。なぜ下手かというと相手(この場合俺)の主張を理解しようとしないから。なぜ相手と自分の考えが違う点は、どこなのか？を考えようとしない。だから的はずれな説明になってしまう。それが対照実験だったわけだ。俺が対照実験について理解してないのでuncorrelatedに同意しないのだ、と。まあ結局LNTの時はuncorrelatedの単純な用語の勘違いだったわけだが(これは流石に俺も予測できなかった)。 * * *んで今度は大数の法則(笑)。今回も統計とは関係ない、uncorrelatedの単純な勘違いな気がするんだけどね…。だって話としておかしいだろう。一見人間の目にはノイズ(ランダム)にしか見えないデータから、統計的手法を使って隠れた特徴を抽出する。それが分析者の腕の見せ所。それはそのとおりなのだが、それは「ランダムに見えたがそうではなかった」という結果が得られればこそなわけで、これといって特徴が見つからなかった場合に、それが本当にランダムなのか、単に分析に失敗しているだけなのかは区別がつかない。んで、今回のuncorrelatedの「分析」(笑)は、まさに「特徴がない」という結論なわけで、そこからどうしろ？と。だからなに？と。結局現時点ではランダムにしか見えないんだから、ノイズとして扱うしかないじゃん。何度も言うけどこういう点がuncorrelatedが分析というものを分かってないわけ。何を示せば有益な結論になるか？が自分で判断できない。「○○を計算せよ」と問題文にないと、何を求めればいいかわからない。 * * *今回の場合は、ノイズ(短期の方向性のない小さな変動)と、もうすこし景気動向に意味がある中・長期的な変動を区別する方法。どうすれば両者を区別できるかを考えた上で、ノイズではなく中・長期的な変動の分布が特定の月に偏ってないことを示す事が必要。それなのに、この方法(棒グラフw)ならノイズに見えるものでも特徴があれば抽出できる(こともある)と繰り返してるだけじゃダメなわけ。だって「特徴が見つからなかった」という結論なんだから、ノイズなのか、ノイズに見えるけどそうでないものなのか、なにも判断材料が増えていない。こんなこと、いちいち噛み砕いて説明しなくてもわかると思うんだけどね。というかわからない人間に分析は無理。んでどうやらuncorrelatedには無理っぽいな、と言ってるわけ。 * * * | 一階差分に関して「一見してわかるように、変化する時はまとまって変化してるよね。1年を通じて下がっている時は、1年の大半の月で個々に見ても下がっている。上昇も、上昇している期間が短いからそれほど顕著ではないが、同様の傾向がある」と言うのは、移動平均の差分だから出てきた傾向だから、問題になっている。12ヶ月移動平均の一階差分は昨年との差の十二分の一になることは既に示した。ん～よくわかんないんだけど、uncorrelatedが見てるデータ(雇用者数の季節調整値)だと、1階微分してもそういう傾向を示さないってことなの？だってuncorrelatedの見てるデータってこれだよね？ 疑似科学ニュースの雇用に関する認知的不協和をつついてみる: ニュースの社会科学的な裏側 http://www.anlyznews.com/2015/02/blog-post_3.html青い線が移動平均で、季節調整値の方は赤い線。季節調整値の方は多少ガタつくけど、それでも微分すればどっちも同じようなグラフになるんじゃないの？というかならないなら、平滑するなりすべき。uncorrelatedは1990年～2014年のデータを棒グラフにしてるようだから、まず一度その期間のもとの雇用データのグラフを出し直すべきですな。LNTの時のように互いに見てるものが違うのに、同じものを見てると勘違いしてるかもね。 * * *というかuncorrelatedは「何のデータを見たいのか？」が自分でもわかっておらず、漠然となんかやってみる(一階微分するとか、棒グラフを書くとか)だけなんだよね。なんかわからないけど、こうやったらこうなりましたと。んで俺が「それはなにを意味するの？」と問いかけても答えられない。そのくせ、よくわからない思いつきでアベノミクスが～とか一気に飛躍してしまう。分析というのは 1)なにを求めたいのか。 2)そのためにはどういう方法を用いればいいのか。を考え、それを第三者が納得できる説明をすること。 3)こういう手法をつかったら、こういう結果になった。 4)それはこういう意味を持つ。と。uncorrelatedの場合3)だけなんだよね。 * * *まあ、あとごちゃごちゃ書いてるけど、付き合いきれん。まあようするに俺は「uncorrelatedの頭脳なら、これぐらいいちいちくどくど書かなくてもわかるであろう」と省略した部分が、そうではなかったということだよね。その点は認める。もっと察しのいい人間かと思っていたのでね。こんな初歩的なことから説明しないとわからないとは思わなかったんだよ。 * * * | 就業者数が年間を通じて変化していることを認めるのであれば、一階差分の議論は何のためにしているのか。それはuncorrelatedがそういう話をしてるからだろう。何度も言うが俺はこんな話をしたくはないわけで。 | そもそも毎年4月に年間の意思決定がされると言うメカAG氏の持論からは、2012年11月以降とされるアベノミクスで、2012年9月から2013年3月までの雇用が増えたと言えないことをなぜ認めないのか。だからその話をしようとしたのに、uncorrelatedが違う話を始めるかだろうが。何度も言ったよね、問題はそこではない、と。前段階でこんな初歩的なことを説明しなければならないなら、この先は気が遠くなるね。 | なお二階差分が本当にノイズ（＝同一で独立な誤差項）だけで構成されていたら、トレンドに対する月ごとのバイアスは無い事になるので、メカAG氏は自分の主張を自分で否定していることになる。これもホントわかってないよね。uncorrelatedの方法では「区別がつかない」から問題だと言っている。道具の使い方が悪い、と。正しいデータにすぐれた道具(統計)を用いても、uncorrelatedの使い方がダメだから全て台無しになってるわけ。まあ、もう少し議論に値する人間だと、俺が勝手に勘違いして、申し訳なかった。まあ今後もおかしなことがアレば突っ込むだろうけど、だいぶ扱いは下になるだろうね。相応のレベルの人間として扱わざるをえない。期待と経緯を持って接してたのだが、残念ですな。もちろんuncorrelatedは悪くない。俺の認識不足。 * * *それにしてもを微分するとほんとにこうなるもんかねぇ…。uncorrelatedの雇用のデータだって2013年1月～2014年12月は上昇してるんだから、その一階微分(折れ線グラフの上段)の目盛の2010年～2015年の部分の後半のグラフって、もっとプラス側になるはずだと思うんだけどねぇ…。1階微分と2階微分のグラフがほとんど同じ形をしてるのも…。ホント書き間違ってない？なんとなく2階微分と3階微分のグラフっぽい気がするのだが。念のため確認するけど、前月との差を一階微分(一階差分)って呼んでるんだよね？なんどもいうけど、ノイズを含んだ凸凹なデータじゃ微分してもノイズばかり目立って意味ないから、平滑した上で微分した方がいいよ？そういう感覚がuncorrelatedにない。ノイズをどうやって消して有益な情報だけを取り出すか？分析を「実践」してる人にとっては常識のセオリーが、教科書だけ読んでるから身についてない。意味のあるデータを取り出そうという意志が感じられない。簡単に言うと無駄なことをやっている。移動平均だってなにも季節変動だけを相殺するためじゃない。ランダムノイズを同時に除去できるから使ってるわけで。uncorrelatedは季節変動を季節調整値で相殺してるから、その目的では移動平均を使う必要はない。しかしランダムノイズを除去する意味で、移動平均なり他の方法を駆使すべき(前後1～2ヶ月の加重平均なりなんなりを)。そういう前処理をせずに微分しても(差分をとっても)無意味。逆に短期の変動を見たい時は、安易に移動平均を浸かってはダメだけどね。今回の場合中・長期的な変動をみたいわけだから。 * * *追記。就業者数(季節調整済み)を労働人口(季節調整済み)で割って(これで就業率の季節調整値になるはず)グラフを描いてみた。赤線がそのままの値。青線はそれに対する12ヶ月の移動平均(青線の太さは単に見栄えがいいように太くしただけで、特に太さに意味はない)。んでどっちのグラフを見たいか？だよね。人間が中・長期の雇用の動向を考える時、見たいのは青線の方なんじゃ？赤線は短期的な変動(これを俺はノイズと言ってるのだが)に影響されすぎ。赤線の細かな変動になにか意味を見出すなら別だけど。しつこいけどこの細かなガタガタに意味があるとは俺には思えんのだが。 * * *そしてこれが1階微分。いやはやそのままの値(赤線)だと、思った以上に変動するのね。その意味ではuncorrelatedのグラフは間違ってなかったが…。青線は移動平均に対する1階微分。こっちは俺が最初に描いたグラフに近いはず。ということで、やっぱ俺のグラフの方が適切なんじゃないですか？ノイズは除去しないと見たい傾向が見えない。 * * *ついでにノイズについて。なにがノイズかは人間がなにを「見たい」かで変わる。今回の場合見たい変動というのは、中長期的な傾向の転換点なわけだ。ある傾向(増加なり減少なり)が数ヶ月～数年続いたあと、別な傾向に移る転換点を見たいわけで、そのためには短期の変動を無視する必要がある。それまでの傾向と違う点を取り出したいのだから、それまでの傾向との差をとらなければならない。「それまでの傾向」というのはたとえば過去数ヶ月の傾向との差。その意味で移動平均というのはベストではないかもしれないが、シンプルでそこそこ効果的。一方uncorrelatedの方法だと、特徴が取り出せる場合はいいのだが、取り出せない場合、見たい転換点がランダムに散らばっているのか、ノイズに対して見たい転換点の数が少なすぎるから傾向を取り出せないのか、判断できない。 * * *少なすぎるとすればどれだけ長期間のデータを集積すれば十分なのか？そもそも見たい転換点の頻度がわからないのでは、それも求められない。uncorrelatedが図らずもシミュレートしたように、予め頻度が分かってれば可能。uncorrelatedがシミュレーションで4月の標準偏差を2倍に設定したようにね。しかし見たい転換点というのは、たとえば上記のグラフの青線の増減傾向が変化している場所なのだから、非常に頻度が少ない。数十年間で数回ぐらいだよね。ノイズは無数にあるのにそのなかから数個の差を取り出すのは無理だろう。なのでuncorrelatedの方法は証明になってない。そして季節調整値を使ったところで、結局こうやって平滑しないと(移動平均など)、意味のある傾向を取り出せないなら、月単位の変化を追いかけて、変化の原因となる事件の起きた時期を月単位で特定するのは、無理なんじゃないの？と。もともとこの話だったのだが。ここで述べたことは分析の常識であり、こんなこといちいち説明する必要ない、というのが俺の常識なのだが…。だから最初俺は説明しなかった。uncorrelatedも当然わかってると思ってたのでね。じゃあ分かってなさそうな点、見落としてそうな点はなんだろう？と考えて、意思決定は年度単位という話だけをしたわけだ。これは統計の範囲じゃないから(統計についてはわかってると思ったわけだ)。こんなことも分かってなかったとは予想しなかったんだよ。関連記事:続々々々々・雇用のモデル