Azure Data Factoryでできること
Azure Data Factoryとは…
- Microsoft社の提供するETLツール
- データを運んだり、運ぶ途中で加工をしたりする
- 運んだり加工したりする一連の流れのことをETL処理という
これはこちらの記事でも書いています。
なぜデータを運ぶのか
Azure Data Factoryで、データを運んだり加工したりする。
では、なぜデータを運ぶのでしょうか。
色々な場所にバラバラに存在するデータを、1ヶ所にまとめること
- 全体像を把握すること
- 色々なデータをまとめて分析すること
どこにデータを運ぶのか
Azure Data Factoryを導入している場合、データをまとめるための「箱」も同時に用意しているかと思います。
その箱のことを「データ分析基盤」と呼びます。
色々なところから集めてきたデータを、どんどん入れていきます。
運んだデータをどうするのか
データを蓄積する箱(データ分析基盤)を用意している場合、集めたデータを分析するツールも導入しているかと思います。
色々な製品がありますが、Azure Data Factoryと同じMicrosoft製だと、PowerBIがあります。
分析ツールを使って、集まったデータを分析する。
分析によって、現状を正しく認識したり、新たな気付きを得たり、問題点を洗い出したりすることができます。
Azure Data Factory単体ではあまり意味がない
ここまでの内容をまとめた図がこちらです。
「データを運んできて → 集めて → 分析して → 活かす」という流れのうち、
Azure Data Factoryが担当するのは、「データを運んでくる」の部分だけです。
箱がなければ、運んできても入れるところがありません。
箱にデータを沢山ためても、使わないなら無意味です。
Azure Data Factoryとは、この一連の流れの中の一部なのであって、単体ではあまり意味がありません。
まとめ
- バラバラに存在するデータを、1ヶ所に運んでまとめること
- 運ぶ途中で、必要なら加工すること
これらが自動でできるような仕掛けを作るのが、Azure Data Factoryを使う人間の仕事です。
Azure Data Factoryはローコード開発と呼ばれ、複雑なプログラムが書けない人でも仕掛けを作ることができます。
…という謳い文句ではありますが、やはり、いきなり渡されて「はい、やって」というものでもないなと思います。
専門家が読んだら笑ってしまうレベルや表現かもしれませんが、私のような非IT系の初心者の方に向けた発信をしていけたらと思っています。