Treasure Data（以下、TD）に入社して早2週間が経ちました。

入社してから知ったのですが、平成14年度IPA未踏ユース第1期で同期でスーパークリエイタであった西田さんがTDで働いているのを知りました。MapReduceやHadoopが登場した頃、「Googleを支える技術」という技術書*1でお世話になったのですが、いつの間にかTreasure Dataを支える人になっていたんですね*2。

トレジャーデータではおかげさまで結構なペースでお客さんが増えていて事業規模拡大に備えて幅広い職種で人材募集中です。今回はトレジャーデータのバッグエンド側で働く人材に求められている技術やスキル（どのような人がフィットするのか）について、2週間働いて見えてきた部分を紹介します*3。

トレジャーデータのフロントエンドは米国のエンジニアによって開発されているのですが、バックエンド側の開発は多くの*4日本人が支えています。

バッグエンドの人材

バックエンド側には、主に①クラウドインフラやHadoopの運用担当のインフラエンジニアと②MPPデータベース/PlazmaDBなどの基盤システムの開発を行うソフトウェアエンジニア、③ FluentDやEmbulk等のミドルウェア開発を行うエンジニアから構成されています*5。

①のインフラエンジニアは更に、同期入社の@kamipoさんなどDevOps担当と、@ryu_kobayashiさんや@tagomorisさんなどHadoopインフラ運用担当*6に分かれます。

DevOps / Chef Server

Treasure Dataではクラウド計算資源の管理にHosted Chefを使っています。インフラエンジニアには、一般的なサーバ運用や関係データベース(MySQL/PostgreSQL)の知識に加えて、AWSの運用ノウハウ、Chefあるいは類似のDevOpsの知識*7が求められます。

ソフトウェアエンジニアにも開発やテスト時にChefの知識が求められますので、TDに入ってから私も以下の本で勉強を始めました。

Amazon AWSは特にEC2、S3、VPCを利用した開発に慣れているとスムーズかと思いますが、すぐに慣れるのでオンプレミスでもサーバ運用経験やネットワークの知識があれば特に支障はないと思います。

Hadoop / Hive

Hadoop-as-a-Serviceを提供している企業ですので、Hadoopへの理解はあることが必要です。 ただ、Hadoop/Hiveにはかなり手を加えており、HDFSは全く利用しない構成となっていることから、一般的なHadoopクラスタの運用経験などはそれ程重要ではないかもしれません。それよりも、PlazmaDB等、TDのレガシーなコード資産を読み込んで理解して改善を行ったり、新機能を追加しChefのレシピを書くなどする適応力や柔軟性が求められていると思います。

もちろん、HadoopについてTom Whiteの象本は一度読んで基本的な動作について理解していると良いと思います。プログラミングHiveはHiveQLのSQL拡張やUDF等の拡張方法が記述されているので、Apache Hiveを扱う場合に参考になります。

Git / Github

TDはGithub Enterpriseを契約しており、プライベートレポジトリを含めて開発コードは全てGithubで管理しています。Gitの操作知識は既にみなさんお持ちかと思いますが、TDの全ての開発者に必須の技術です。

Git flowほどきっちりとした運用はしていませんが、Git flowやGithub flowなど、Gitの開発プロセスへの理解ももちろん必要です。

なお、Githubで自分のコードを公開されている方、そのコードに多くのスターがついている方は採用時に評価される項目です。Githubにアカウントもないって人はちょっと文化的にも合わないかもしれません。

Strong Ruby (Python) or Java Programming Skill

EmbulkやFluentD、DataDog等を利用したデータモニタリングなどにはRubyが利用されています。性能を求めるところはJavaを利用しています。将来的にはJava 8が主に使われていくと思います。ワークロフロー管理には、現在のところLuigiが利用されていますので、必須ではありませんが、Pythonを書けると良いです。

また、Amazon S3やデータモニタリングツールでHTTP REST APIスタイルのAPIも多いのでREST APIプログラミングにも慣れているとよいかもしれません。

例えば、インフラエンジニアの山下さんはTDで使っているメトリクス収集用のクラウドサービスDatadogのクライアントを書いていますが、この辺の外部のクラウドサービスは大抵REST APIのようです。

MySQL / PostgersSQL

TDではAmazon RDSも使っておりますが、直のMySQL/PostgreSQLに比べてRDSには機能面や最新バージョンに追随していないという部分で制約もあるので、直のMySQL/PostgreSQLも利用しています。

これらの運用知識、特にDRBDを利用した高可用性の高い運用やレプリケーション周りの知識*8があると重宝されます。

英語の読み書き & 英会話

Treasure Dataの社内コミュニケーションや内部ドキュメントは英語ですから、英語力は必須です。 エンジニアもみなさんも各自、RareJobやLangrichで英会話を勉強しているようです。

TOEICとかで点数のとる英語能力というかプラクティカルな英語が必要です*9。

並列データベース

@taroleoさんなどPrestoのTD specificな改造を行っているMPPチームだとJavaプログラミングと深いデータベースへの理解が求められます。通常の関係データベースの利用知識ではなく、並列(MPP)データベースやMapReduceあるいはDAG形式の実行モデルなどへの深い知識も求められます。

残念ながら並列データベースのよい教科書や技術書はないのですが、本として出版されているものですと、下記のものが一番良いかもしれません。残念ながら、現在Amazon JPからは買えないようです。目次はここで確認できます。

その他では、以前私が筑波大などで行った講義資料や並列DBの研究をしている山田さんが連載予定のこの記事が参考になるはずです。

さいごに

どこでもそうかもしれませんが、XXXに関して第一人者である、XXXに関する知識は誰にも負けないというような専門性を持っていて、自らトレジャーデータのサービスを改善していくような人は歓迎されます。