非IT人材が未経験から始めるAzure Data Factory

非IT人材が未経験から始めるローコード開発

この記事は、生粋の一般事務員でありながら突然ローコード開発に巻き込まれた体験をもとに書かれています。

前任者（プログラマ）が突然退職したため、急遽私（素人・初心者）にお鉢が回ってきたのです。
その名も「Azure Data Factory（アジュールデータファクトリー）」
「ローコードだから大丈夫」という触れ込みでしたが、なかなかに難しいものがありました。

似たような立場で苦労している方がいればと、知識０から始めるAzure Data Factoryの初歩を発信することにしたのです。

あくまでも、自分なりに噛み砕きまくった内容です。
プロフェッショナルの方が読んだら笑ってしまうかもしれませんが、始めた当初の私が「こういう情報があればいいのに」と思っていたことを書いていきたいと思います。

Azure Data Factoryとは

Azure Data Factoryとは、Microsoft社の提供するETL製品で、公式説明はこちらです。

Azure Data Factory の概要 - Azure Data Factory

データの移動と変換を調整、自動化するクラウドデータ統合サービスであるAzureDataFactoryについて説明します。

ちなみに、私は読んでも分かりませんでした。

Azure Data Factoryとは（勝手にかんたん解説）

データを運ぶツール。運ぶ過程で、加工をすることもできる。

たとえば…

あるデータを、A地点からB地点まで運ぶ。
そのデータには、商品名・単価・売上個数だけが書かれている。
運ぶ途中で、売上金額を計算して追記する（単価×売上個数）。

ETLツールの一種

ETLとは…

データを取ってきて → 加工して → 移動先に届ける
Extract（抽出）→ Transform（変換）→ Load（格納）

頭文字を取ってETL（読み：イーティーエル）

Azure Data Factoryを使っていて困ること

なんといっても、情報が少ないことに困りました（英語ができる人は別）

まとまった書籍がない

英語やフランス語の書籍はあるようですが、日本語で読めるものは見当たりません（2022年10月現在）。

まとまったサイトがない

最も頼れるのはMicrosoftの公式サイトです。
ただ、体系的に学ぶというよりは、作業をする中で発生する疑問や問題に対処するために使っています。

Azure Data Factory のドキュメント - Azure Data Factory

クラウドデータ統合サービスであるDataFactoryを使用して、データの保管、移行、および処理のサービスを自動化データパイプラインにまとめる方法について説明します。チュートリアルなどのドキュメントでは、データパイプラインの設定と管理の方法や分析用のデータの移動と変換の方法を紹介します。

英語で書かれた説明を日本語に直しているためか、表現が分かりづらいことがあります。
また、コードに関する説明も多く、「そういう難しいことはいいから、どういう操作をしたら良いのか教えてくれ！」と言いたくなることもしばしば。
SQLなどプログラミングの知識がある前提で書かれているようにも感じました。

情報発信をしている人が少ない

エクセルなどと異なり、情報発信をしている個人がほとんどいません。
Qiita に投稿している人はいるものの、エンジニア向けのサイトなだけあって、ある程度のITリテラシーを前提とした内容が多い印象です。

Search result of “Azure data factory” - Qiita

IT系のコミュニティに入っていけば情報も増えるのかもしれませんが、ただgoogle検索をするだけでは、欲しい情報になかなか辿り着けません。

質問できる人が周りにいない

自社には情報システム部門があり、人数も多いため、システム系で何か困れば気軽に質問ができる環境です。
しかし、Azure Data Factoryに詳しい人がおらず、聞いたところで困らせてしまうだけでした。
（人それぞれ専門領域があるので当たり前のことですが）

ローコードであるが故に、自分でプログラムが書ける人からすると逆にとっつきにくいという声もありましたし、IT系の人だからといって分かるとは限りません。
ITに強い人が身近にいたとしても、頼らせてもらえるとは限らないのがネックです。

あると助かる予備知識

英語

英語が堪能な人であれば、得られる情報が飛躍的に多くなります。
しかし、Azure Data Factoryのためだけに英語を勉強するのは労力に見合いません。
もともと得意な人は、非常に強みになるはずです。

SQL（プログラミング言語の一種）

ごく簡単なフレーズだけでも知っていると役に立ちます。
メジャーで歴史のある言語なので、ネット上にも情報が沢山ありますし、書籍も色々と出ています。
Amazonや書店はもちろん、図書館や古本屋にも大体何かしら置いてあるのではないでしょうか。

実際にAzure Data Factoryを使っていく中で、必要なときに検索するだけでも何とかなりますが、あらかじめ知っていた方が効率は良いです。

簡単なIT基礎知識

とりあえず必須となるのは、下記3点です。
キーワードで検索して出てきたサイトを流し見して「そういうものがあるのか」と思っておくだけでも役に立ちます。
きちんと勉強してみたい方は、ITパスポート試験のテキストで、該当箇所を読んでみるのも良いと思います。

【文字コード】
キーワード：UTF-8、Shift-JIS、文字化けなど
【データ型】
キーワード：string、date、timestamp、文字列型、日付型など
【ファイル形式】
キーワード：csv、text、拡張子など

【ITパスポート試験】情報処理推進機構

困ったときはgoogle翻訳＆画像検索

Azure Data Factoryでは、エラーメッセージや機能のヘルプなども英語で出ます。
google翻訳をブックマークして、作業中は開きっぱなしにしておくのがおすすめです。

また、英語が分からなくても、図があると何となく察しがついたりするものです。
英語のメッセージをコピペで検索→画像検索に切り替えると、関連のある図からヒントが得られます。

Microsoftの公式動画もありますが、動画の場合、求めている情報が得られない場合に時間のロスが大きいです。
ネットを頼る場合、「文字検索 → 画像検索 → 動画」の順で調べると効率が良いと感じます。

マッピングデータフローのビデオチュートリアル - Azure Data Factory

マッピングデータフローの概念を説明するビデオチュートリアルの一覧

終わりに

私がAzure Data Factoryを始めたとき、手元には断片的な資料しかありませんでした。
しかも「続きは別途ご説明します」で終わっていたりする。

それでも仕事の案件は回ってくるので、やらないわけにはいかない。
少ない情報をもとにネット検索を駆使し、推測したり試したり、ずいぶん遠回りをしたと思います。

私と似た境遇の方がどれくらいいるか分かりませんが、少しでも近道をする手助けになれば幸いです。