Azure Data FactoryでETL処理を作ってみる

Azure Data Factoryで人間がやるべきこと

これはこちらの記事でも書いています。

datasetは、スタート側とゴール側の２つが必要となります。

つまり、「基本４要素」を「最低５パーツ」作成する必要があるのです。

これらを、１→２→３→４の順番で作成していきます。

作成作業の大変さで言うと、単純な処理を作成しているうちは、dataflowの比重が高いです。

dataflow ＞＞＞＞＞ dataset・pipeline・trigger

複雑な処理を作成するようになると、pipelineの比重が上がってきます。

dataflow ＞ pipeline ＞＞＞＞＞ dataset・trigger

時間がないときはdatasetだけを作っておいて、dataflowはまとまった時間が取れるときに作るなど、少しずつ進めることも可能です。

実際のAzure Data Factoryの画面を見ていきます。

こちらがHome画面です。

左上に５つのメニューアイコンが並んでいます。

５つのアイコンがありますが、普段メインで使うのは２つです。

【Author】ETL処理を作成する

【Monitor】ETL処理の動きを確認する

こちらがAuthor画面です。

ETL処理を新規で作成したり、作成済みの処理を修正したりするときに使います。

右側の広い余白部分が処理作成スペースです。

左上に、ETL処理のパーツ（pipeline・dataset・dataflow）を格納する場所があります。

右側の数字は、それぞれのパーツの数です。

今はまだ何も作成していないため、すべて０になっています。

※Power Queryは一旦無視して大丈夫です。

※triggerはまた別の場所に格納されます。

こちらがMonitor画面です。

処理を動かしているときに、どのくらい進んでいるか、成功か失敗か、などを確認できます。

今は何も動かしていない状態ですが、実際に処理を動かしているときは、余白部分に進行状況が表示されます。