現場のデータ、汚いを超えてカオスであることが多い。
自分が経験してきた「データあるある」
・ドキュメントが最新でなく、定義が不明
・部署ごとに同じ指標の定義が違い、どれが「正」か謎
・テーブルの責任者が不在でデータの出所が不明
・BIの中にさらにクエリが書かれていてロジックが謎
・lake層にデータが大量にあるが信頼できるか不明
・2000〜3000行にわたるクエリにIFやCOUNT DISTINCTが大量に並んでいて読むのが困難
・気づいたら取得元の仕様がサイレント変更されて集計がバグる
・そもそもデータの問題に誰も気づいていない
データサイエンティストを目指している方へ。
現場のデータが綺麗な状態で揃っていると思わない方がいいです。基本的にそんな状態はないです。
ちなみに、データエンジニアとしてはデータが整っていない方がワクワクします！
皆さんの現場のデータあるある、ぜひ教えてください！