- 作者: Akhil Arora,Shrey Mehrotra
- 出版社/メーカー: Packt Publishing
- 発売日: 2015/08/28
- メディア: ペーパーバック
- この商品を含むブログを見る
今回はYARN関連の本を読んでみました。
Hadoopとは直接関係ないんだけど、業務でちょこちょこYARNを使ってるので
上長にお願いし、購入してもらいました。(6000円もするのに)ありがとうございますー
で、これなんですが、やっとこさとこ読んでみて
けっこう内容がいい!というものにやっと巡り合いました。
いかんせん自分はYARNの開発とかプラグインをいじることはしてないので
これは使える!とかは無かったのですが、中盤のチャプターで
状態遷移の解説が詳しく書いてあり、ここはかなり使える内容なんじゃないのかと思いました。
オープンソースを使ってると、プログラムの裏側はどういう思想で動いてるんだよー
っとアーキテクチャーを理解したい場面がこれまで何度かあったので
裏側の理解にはかなり役に立ちます。
内容としては
- MapReduce ver.1 と ver.2 の違い
- Hadoop-YARNクラスターの構築
- YARNのライフサイクル管理 (状態遷移はここのチャプター)
- YARNアプリケーションの書き方
- コンポーネント紹介
- RESTサービス
- YARNのスケジューリング方法
- YARNのセキュリティ
- YARNでリアルタイム処理(Spark, Storm,などを使う)
こんな感じの内容でした。
最近Hadoopクラスターでアプリケーションを実行するのに
Dockerが使われるようです。そのDockerを制御するのがYARNでやれる(?)
そうです。(まちがってたらごめんなさい)
たしかYARNと似たプロダクトMesosがそんな感じだった気がする。
今後HadoopクラスターでSpark使う時にこの本は役立つかもなあ。
感想として、うーんやっぱりPACKTの本は当たりだった。
(後述)
あれ、ちょっと調べてみるとスケジュールツールには
kubernetesかMesosがよく使われてるみたいなんだな。
YARNはあまりつかわないのかな。
要調査だな。いつかね、いつか。。。。