hadoop

Hadoop / Spark Conference Japan 2019 に行ってきました(ついでにLTやってきた)

昨日 2019/03/14木曜にきゅりあんにて Hadoop / Spark Conference Japan 2019 が開催されていたので行ってきました。hadoop.apache.jp www.eventbrite.com3年ぶりの開催だそうです。 Hadoopカンファレンスは久しぶりだったので楽しみにしてしまいました。そ…

【beeline】Required field 'client_protocol' is unset!

beelineでHadoopにつなごうとしたらこんなエラーがでて困った。 18/10/10 15:59:41 [main]: ERROR jdbc.HiveConnection: Error opening session org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionR…

PLAZMA Data Platform Day: TD Tech Talk 2018 行ってみた

イベントに申し込んでるのを当日思いだし行ってみた。メモを書いておく。PLAZMA Data Platform Day: TD Tech Talk 2018 techplay.jp Infrastructure for autoscaling distributed system 佐々木 海 - Treasure Data, Inc. トレジャーデータで使ってるプラッ…

Hiveでpartitionはテーブル定義と紐づいているようだ

Hiveのテーブルにカラムを追加した時に 追加したカラムがスッカスカでデータが取れないことがあった。結論から言うと、パーティションが変更前のテーブル定義と紐づいてるから 追加カラムの値が取れなかったってこと。なのでパーティションを作り直すと追加…

「Learning YARN」を読んでみた

Learning Yarn 作者: Akhil Arora,Shrey Mehrotra 出版社/メーカー: Packt Publishing 発売日: 2015/08/28 メディア: ペーパーバック この商品を含むブログを見る 今回はYARN関連の本を読んでみました。 Hadoopとは直接関係ないんだけど、業務でちょこちょこ…

「Hadoop Security」を読んで見た

Hadoop Security 作者: Ben Spivey,Joey Echeverria 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/16 メディア: ペーパーバック この商品を含むブログを見る もう一冊Hadoop関連の本を読んでみました。 Hadoopを運用した場合、たいていの場合…

「Hadoop Application Architectures」を読んでみた。

Hadoop Application Architectures 作者: Mark Grover,Ted Malaska,Jonathan Seidman,Gwen Shapira 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/20 メディア: ペーパーバック この商品を含むブログを見る Hadoopに関連する本ってそんなに販…

Hadoop関連の本

業務でHadoopを使うことになったので関連本を読んだ。 Hadoop 第3版 作者: Tom White,Sky株式会社玉川竜司,兼田聖士 出版社/メーカー: オライリージャパン 発売日: 2013/07/26 メディア: 大型本 この商品を含むブログ (4件) を見る hadoop設定の細かい内容、…