PLAZMA Data Platform Day: TD Tech Talk 2018 行ってみた - S氏はたまにblogを更新してます

イベントに申し込んでるのを当日思いだし行ってみた。

メモを書いておく。

PLAZMA Data Platform Day: TD Tech Talk 2018
techplay.jp

Infrastructure for autoscaling distributed system 佐々木海 - Treasure Data, Inc.

トレジャーデータで使ってるプラットフォームなど、つらかったことなど解決したことなど
主にAWS使ってる
PrestoとHiveを主に使ってる
メタデータをPlazmaDB 主データはS3に置く。
Hive 0.14
全部で250兆くらいのレコード(だったと思う)
1053trillion record/月　1兆件か
14million query/月　1400万か
20PB/月
プレストのワーカーのスケールの話
ワーカー増やして分散させると、クエリのタスクフラグメントやジョイン処理を分散できるので早い
S3のデータ読み込みもパーティションで分割して読み込めるので読み込みも早くなる
スケーリングするときにステートを残さないようにする。バージョンアップが難しくなるから。
クエリを失敗させずにスケールインが難しかった
amazonのコードデプロイでデプロイ
EC2インスタンスを自動で構築
デプロイ用のファイルをまとめておけばコードデプロイでやってくれる
グループごとconfigurationごとにデプロイが可能
クラスターの立ち上げ時間が短縮できた
lifecyclehook ：クエリ実行中を判断して自動でインスタンス停止してくれる
Target tracking scailing policy：目的の使用率を達成するために自動で必要なインスタンスをオートスケールさせる
スケールアウトはすぐやるがスケールインは保守的なのでインスタンスは減りにくいことがわかった
今後どんなクラウド環境でもオートスケールできるようにすることを目的としたい

2020年代に向けたDeNAの分析基盤松木秀憲 - DeNA

DeNAのAIシステム部
サービスを軸にサービスを改善しさらにAIの研究開発
各部門にアナリストがいてその人のために分析基盤を提供してる
分析基盤の今
社内でログフォーマットを決めてETLしやすいようにする
システム構成
サービス（アプリケーションサーバー、DBスナップショット）→ログゲートウエイにログを集める
fluentdを使って集める
fluentd安定している　優れたツール
HadoopはHDFSとして使ってる
少しHive使ってる
サービスごとにログゲートウエイからインポートする
HadoopからEmbalkを使ってGoogleBigQueryかHPVerticaにインポート
いまはBigQueryへ移行中
Verticaは容量課金　1TBまでは定額、1.1TB使ったら2TB分の料金みたいな感じ
Embalkはプラグインが豊富で使いやすい
yamlで書くのでプログラミング的に使いやすい
BigQueryとVerticaに検索できるArugusを内製。自分たちの要望を細かく反映できるから
スケジューラ
jenkins　たいていのことができてしまうので他に移りにくい
Digdagが魅力的
yamlで設定できる
こまかいタスク定義ができる
並列処理が可能
でも権限管理がしづらい
運用
仕様者向け技術サポート
なんでも相談を受けるようにしてる
相談はslackで受けることが多くなってきた
AI基盤の今
AWS/GCPを使ってる
GPUを使いたいときに使う
Infra as Codeを徹底
Terraform, itamaeを使う
プロジェクトが始まると一週間で基盤を提供してほしいとかある
今後のAI基盤
クラウドネイティブ
サービスに合わせて分析基盤もクラウド化
アナリスト向けには既存と同等のUXを提供
分析基盤にとどまらない基盤
便利なUXを提供
データ分析、AI、Kaggleなどあつかう多様なデータを対応する
より安全な権限分離
AWS/GCPアカウント　など
Amazon　sagemaker 　jupyter が使える
マルチメディアデータを扱うAI基盤
動画、静止画も扱う基盤を対応したいと思ってる

ヤフーにおけるHadoop Operations 安達寛之 - Yahoo! JAPAN

120PB　にHadoop保管 4100ノード
マルチビッグデータドリブンカンパニーを目指す
Hortonworks 2.3 ＋Ambari 2.4
主に使ってるのは1500ノード
HDFSは37PB　60TB/day
マルチテナント環境
２，３万ジョブ/day
Hadoopチームの変遷
バージョンアップ自動化、運用ツールの自動化など　→DevOpsの加速、ユーザーサポートの強化
Hadoop運用の自動化、クラスターバージョンアップの自動化してきた
これまで12人ｘ10時間　で作業　利用者も使えない状況だった
ambari使って各ノードにコマンド実行
ansibleも使う
ansibleでまずMaster系をVerup
並行してTool、clientとworkerをVerup
セキュリティ対応の自動化
適切にデコミッションしてからセキュリティ対応してリコミッション
HiveもLBで使うノードを制限してセキュリティ対応
不良ノード対応の自動化
数百台数千台あるとよく壊れる
dmesg からハードウエアのエラーを検知してスコアリングして
自動でサービスアウトさせる
今後
データセンター建設中
ErasureCodingに期待
NameNodeの負荷対策
HDFS Federationに期待
Infra as Code　できてないところがあるので対応する
個別変更をしない。自動化が大変になる

リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方山田雄- リクルートライフスタイル

リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方 from Yu Yamada

www.slideshare.net

カスタマーセントリックで基盤を作る
collect システムが人に合わせる
ユーザーアンケートをするなどして使う側の気持ちにを理解する
基盤を使う立場になる、データを使うチームと同じグループになる
confirm
ユーザー自身も気づいていない本音を探りあてる
対応時間でレベル分けする。なぜその要望をあげたのかwhyを考える。
create
売り上げを上げないと予算がつかない
運用コストを下げる
障害が起きた時にべきとうせいを確保
なるべくクラウド使う
ユーザーが使いやすいIFを用意
ユーザー教育のための動画コンテンツを用意
check
効果の検証
KPIを設計する
ユーザーアカウント数、レスポンス時間、bot使用回数など
continue
進化ができる基盤
DataLake構成　S3でやってる
いいサービスがでてきたときに柔軟に対応できるようにする
透明性が大事
ただしい情報が整理されててわかりやすくする
分析基盤の構成
BigQueryやOracleなど
SPSS、Tableuなどで分析
Oracle ExaData　ホットペッパーなど
Redshift　事業データ　web行動ログなど
Redshift Spectrumを活用
BigQueryへもデータ流してる
TrasureDataも使ってる
テーブル数　4000
クエリ数　2万/day

懇親会など

リクルートライフスタイル山田さん
- データ全部クラウド化とか考えてたらすごくお金かかりませんか？
- →リクルート一括で契約している枠があるのでそうでもないかも
Yahoo 安達さん
- セキュリティでkerberos使ってます？どうやって導入しました？
- →自分が入ってきたときにはすでにkerberos入ってた。

感想など

Big data のプラットフォームの運用の話はだいたい成熟してきた感がある。
S3にいれてRedshiftやAthenaでどうにかするとか、オンプレで頑張るとか。
オンプレは中身のセキュリティ上クラウドに入れられないとかあるみたい。
Hadoopのバージョンアップはやっぱどこも大変らしい。そうだよね、あんなでかいデータサーバーをスタンバイでもってるなんて無理だろう。
YahooはHorton使ってるそう。しまったなあ、MapR, cloudera とか何使ってるか聞いておけばよかった。
DeNA、リクルートライフスタイルのアナリストとのやり取りは、あーやっぱ分析者として使う側を考えてUXの向上を考えないとなーと思った。
リクルートライフスタイル山田さん
- こんなことありませんか？
- 分析T「機械学習、データ分析で改善して賞金xx得ました！」
- →基盤T「それ分析基盤があってのことやろ…」
- あるあるすぎて、笑ってしまったwwwwわかりみが深い！
無料のコーヒーがスタバだった。TresureDataお金もってるなーと思った。
あんまスタバのコーヒーはおいしいと思えないが。。
懇親会で講演者の方に話しかけやすかったのはラッキー
懇親会　軽食だったけどうまい！
- 注意事項に【飲食のみを目的としたご応募・ご来場はご遠慮ください】
- わかったwww