「Learning YARN」を読んでみた

Learning Yarn

今回はYARN関連の本を読んでみました。

Hadoopとは直接関係ないんだけど、業務でちょこちょこYARNを使ってるので
上長にお願いし、購入してもらいました。(6000円もするのに)ありがとうございますー

で、これなんですが、やっとこさとこ読んでみて
けっこう内容がいい！というものにやっと巡り合いました。

いかんせん自分はYARNの開発とかプラグインをいじることはしてないので
これは使える！とかは無かったのですが、中盤のチャプターで
状態遷移の解説が詳しく書いてあり、ここはかなり使える内容なんじゃないのかと思いました。

オープンソースを使ってると、プログラムの裏側はどういう思想で動いてるんだよー
っとアーキテクチャーを理解したい場面がこれまで何度かあったので
裏側の理解にはかなり役に立ちます。

内容としては

• MapReduce ver.1 と ver.2 の違い
• Hadoop-YARNクラスターの構築
• YARNのライフサイクル管理 (状態遷移はここのチャプター)
• YARNアプリケーションの書き方
• コンポーネント紹介
• RESTサービス
• YARNのスケジューリング方法
• YARNのセキュリティ
• YARNでリアルタイム処理(Spark, Storm,などを使う)

こんな感じの内容でした。

最近Hadoopクラスターでアプリケーションを実行するのに
Dockerが使われるようです。そのDockerを制御するのがYARNでやれる(？)
そうです。(まちがってたらごめんなさい)
たしかYARNと似たプロダクトMesosがそんな感じだった気がする。

今後HadoopクラスターでSpark使う時にこの本は役立つかもなあ。

感想として、うーんやっぱりPACKTの本は当たりだった。

(後述)
あれ、ちょっと調べてみるとスケジュールツールには
kubernetesかMesosがよく使われてるみたいなんだな。
YARNはあまりつかわないのかな。
要調査だな。いつかね、いつか。。。。