「Learning YARN」を読んでみた

 

Learning Yarn

Learning Yarn

 

 

今回はYARN関連の本を読んでみました。

Hadoopとは直接関係ないんだけど、業務でちょこちょこYARNを使ってるので
上長にお願いし、購入してもらいました。(6000円もするのに)ありがとうございますー


で、これなんですが、やっとこさとこ読んでみて
けっこう内容がいい!というものにやっと巡り合いました。


いかんせん自分はYARNの開発とかプラグインをいじることはしてないので
これは使える!とかは無かったのですが、中盤のチャプターで
状態遷移の解説が詳しく書いてあり、ここはかなり使える内容なんじゃないのかと思いました。

オープンソースを使ってると、プログラムの裏側はどういう思想で動いてるんだよー
っとアーキテクチャーを理解したい場面がこれまで何度かあったので
裏側の理解にはかなり役に立ちます。


内容としては

  • MapReduce ver.1 と ver.2 の違い
  • Hadoop-YARNクラスターの構築
  • YARNのライフサイクル管理 (状態遷移はここのチャプター)
  • YARNアプリケーションの書き方
  • コンポーネント紹介
  • RESTサービス
  • YARNのスケジューリング方法
  • YARNのセキュリティ
  • YARNでリアルタイム処理(Spark, Storm,などを使う)

こんな感じの内容でした。


最近Hadoopクラスターでアプリケーションを実行するのに
Dockerが使われるようです。そのDockerを制御するのがYARNでやれる(?)
そうです。(まちがってたらごめんなさい)
たしかYARNと似たプロダクトMesosがそんな感じだった気がする。

今後HadoopクラスターでSpark使う時にこの本は役立つかもなあ。


感想として、うーんやっぱりPACKTの本は当たりだった。

(後述)
あれ、ちょっと調べてみるとスケジュールツールには
kubernetesかMesosがよく使われてるみたいなんだな。
YARNはあまりつかわないのかな。
要調査だな。いつかね、いつか。。。。