Hadoop / Spark Conference Japan 2019 に行ってきました(ついでにLTやってきた)

hadoop spark イベント

昨日 2019/03/14木曜にきゅりあんにて Hadoop / Spark Conference Japan 2019 が開催されていたので行ってきました。hadoop.apache.jp www.eventbrite.com3年ぶりの開催だそうです。 Hadoopカンファレンスは久しぶりだったので楽しみにしてしまいました。そ…

2018-10-10

【beeline】Required field 'client_protocol' is unset!

beeline hadoop プログラミング

beelineでHadoopにつなごうとしたらこんなエラーがでて困った。 18/10/10 15:59:41 [main]: ERROR jdbc.HiveConnection: Error opening session org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset! Struct:TOpenSessionR…

2018-05-23

PLAZMA Data Platform Day: TD Tech Talk 2018 行ってみた

aws hadoop イベント

イベントに申し込んでるのを当日思いだし行ってみた。メモを書いておく。PLAZMA Data Platform Day: TD Tech Talk 2018 techplay.jp Infrastructure for autoscaling distributed system 佐々木海 - Treasure Data, Inc. トレジャーデータで使ってるプラッ…

2018-04-19

Hiveでpartitionはテーブル定義と紐づいているようだ

hadoop プログラミング

Hiveのテーブルにカラムを追加した時に追加したカラムがスッカスカでデータが取れないことがあった。結論から言うと、パーティションが変更前のテーブル定義と紐づいてるから追加カラムの値が取れなかったってこと。なのでパーティションを作り直すと追加…

2017-10-18

「Learning YARN」を読んでみた

書評 hadoop

Learning Yarn 作者: Akhil Arora,Shrey Mehrotra 出版社/メーカー: Packt Publishing 発売日: 2015/08/28 メディア: ペーパーバックこの商品を含むブログを見る今回はYARN関連の本を読んでみました。 Hadoopとは直接関係ないんだけど、業務でちょこちょこ…

2017-09-27

「Hadoop Security」を読んで見た

hadoop 書評

Hadoop Security 作者: Ben Spivey,Joey Echeverria 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/16 メディア: ペーパーバックこの商品を含むブログを見るもう一冊Hadoop関連の本を読んでみました。 Hadoopを運用した場合、たいていの場合…

2017-09-18

「Hadoop Application Architectures」を読んでみた。

hadoop 書評

Hadoop Application Architectures 作者: Mark Grover,Ted Malaska,Jonathan Seidman,Gwen Shapira 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/20 メディア: ペーパーバックこの商品を含むブログを見る Hadoopに関連する本ってそんなに販…