blog.pinkumohikan.com とてもいい一言が書いてあったのでメモしておく "我々は我慢しがちだが、我慢することに価値はない。" e.g. 客に合わないのにスーツを着る、新人だからという理由でアレな待遇を受ける、etc... 事なかれ主義、「俺も我慢してるんだか…

「全然あこがれてないんですけど！」っという健全な方は はい、以降の文章を読むのは時間の無駄なので読まない方がいいです。 タイトルに「インフラエンジニアは....」っと書いてはみましたが 全然インフラに限りません。たまたま自分がそうだから書いてみま…

ここのところ原因不明の発熱でぼんやりしてました。 そんななかFacebookの広告でpacktの$5セールのお知らせが目に入りました。よーしブログに書こうかなーと思ってましたが発熱のため、やっと今書けるようになりました。www.packtpub.com前にも自分のブログ…

あんまりシェルスクリプトは好きじゃないんだけど インフラやってるとシェルスクリプトを書くことがある。その中で他人が書いたコマンドに trap というコマンドがあった。罠…??なんかおどろおどろしい感じがしたけど 調べてみると、なんとまあ便利なコマンド…

サーバーでのちょっとした処理をpythonで書くことがあるんだけど pythonからシェルを実行するのどうやるんだっけ？ 毎回忘れてしまうので、メモしておく。 とりあえずの使い方 import subprocess cmd = "ls -l" subprocess.Popen(cmd, shell=True) subproces…

EC2インスタンスからパカパカログを検知して cloudwatchに入れたいねという依頼があったのでやってみた。 苦労したところがあったのでメモ。pythonのバージョン差異でエラーが出る出ないがあるようだった。 でも調べることが目的じゃないので精査してない。…

ユーザー名の取得方法はいろいろあります。 下記のやり方があります。 ユーザー名の取得 そんで調べてたらgetpass.getuser()のソースを調べてる人がいて LOGNAME, USER, LNAME, USERNAME から値を取ってたんですねー なるほど qiita.com (Pythonに関連したこ…

ホスト名の取得方法はいくつかあるようです。 下記で簡単に取得できます。 ホスト名を取得 ホスト名はどこからとってるのかなと調べてたら こんなpythonの実行もあるのか！ github.com python 実行する時に -c でスクリプトを実行できるんですね。 これは便…

自分は技術者派遣として働いています。 何度か常駐先は変わりましたが、たまたま大手IT企業の案件に当たり たまたまそこの案件に長くいることがありました。 やっぱり大手企業なので、派遣で来てる人が多くいろんな会社から来ているところでした。 そこでこ…

config に数値を書いておいて、その数値リストを使いたい場合があります。 そこで取得した文字列数字をsplitで分割しても、単なる「string」の数字のリストになってしまうんですよね。 でどうしよっかなと、俺の性能が良くない頭で考えてしまうと それぞれの…

Learning Yarn 作者: Akhil Arora,Shrey Mehrotra 出版社/メーカー: Packt Publishing 発売日: 2015/08/28 メディア: ペーパーバック この商品を含むブログを見る 今回はYARN関連の本を読んでみました。 Hadoopとは直接関係ないんだけど、業務でちょこちょこ…

以前のブログでlogging.propertyの書き方を書いていました。 suganoo.hatenablog.com ※logging.propertyだかlogging.confだか、どっちが適切な表現なのかはここでは置いておく。 logging.confを書いている時に、あれこんなことできないかなと悩みました。 ロ…

こんな処理をするスクリプトを作っていました。 ログをダウンロードして ログパースして webサーバーにアップロード このログをパースする処理なんだけど、ダウンロード/アップロードは変わらない。 ログの種類がある程度決まってるから、実行する時にログパ…

Hadoop Security 作者: Ben Spivey,Joey Echeverria 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/16 メディア: ペーパーバック この商品を含むブログを見る もう一冊Hadoop関連の本を読んでみました。 Hadoopを運用した場合、たいていの場合…

www.packtpub.com たまたま PACKTのサイト見てたら、なんか$10セールをやってる。 こここ、これは！と思って、いくつかポチってしまいました。 まあ、あと数時間で終わってしまうようですけどね....。(2017/09/18 23:00現在) 自分はどちらかというと、PACKT…

Hadoop Application Architectures 作者: Mark Grover,Ted Malaska,Jonathan Seidman,Gwen Shapira 出版社/メーカー: Oreilly & Associates Inc 発売日: 2015/07/20 メディア: ペーパーバック この商品を含むブログを見る Hadoopに関連する本ってそんなに販…

github.com ↑これ 内容がすごい おれも勉強しよう

pythonにはrubyのようにuniq関数は無いようです。 リストの値をsetにして、再度リストにすると重複が除かれます。 なんで順番くずれるんだろうね。 リストで重複除く

jsonパースのところで値を取得しようとしたら、TypeErrorとかのエラーが出た。なんだこりゃ、全然わかんねーと、かなりもがいてしまった。 SQSからもらうメッセージみてもぜんぜんjson形式として悪いところはなさそう。ダブルクオーテーションが悪いのか！？…

Apache Spark入門 動かして学ぶ最新並列分散処理フレームワーク (NEXT ONE) 作者: 株式会社NTTデータ,猿田浩輔,土橋昌,吉田耕陽,佐々木徹,都築正宜,下垣徹 出版社/メーカー: 翔泳社 発売日: 2015/10/29 メディア: 大型本 この商品を含むブログを見る scalaを…

2か所にファイルを保管してて、それらのファイルの存在確認をすることがあった。具体的に言うと、例えば Webサーバー上にあるファイルと、ローカルに保管したファイルが同じと仮定。 それが一致しないことがあるから、数が一致してるかを確認したい。 もしく…

pythonでtouchコマンドみたいなことできないかなと考えてみました。 こんな風にすればできるようです。 pythonで空ファイルだけを作る 退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング 作者: Al Sweigart,相川愛三 出…

configファイルでkeyの存在確認できないかなーと思ったので書いてみた ConfigParserでkeyの存在確認する みんなのPython 第4版 作者: 柴田淳 出版社/メーカー: SBクリエイティブ 発売日: 2016/12/22 メディア: 単行本 この商品を含むブログ (2件) を見る ゲ…

qiita見てたら、まさにこれ！使いたかったーって記事を見つけた。 参考サイトはここです qiita.com torina.top プログレスバー使い方

gist2f1dca13c04a846a7bc92ae42504d336

ArgumentParserの使い方 このように書いて python hoge.py --config hage --logtype fuga こんな風に実行します。

crunchbase見てたら気になった会社です。 https://www.crunchbase.com/organization/zoox#/entity 自動運転を目指した会社です。$250Mを調達したそうです。$250M えーとミリオンが100万だから、2億5000万ドルか日本円だと270億円くらいかな。すごい額を調達…

devbootcamp.com Dev Bootcampを前に調べたことがあった。 短期間でRuby on railsやhtml, cssなどを教育して（だいたい3ヶ月前後） 有名企業に送り出す学校だ。 学校？たしか正式な認証とかはなかったはず。専門学校的な位置づけかな。 日本のtech camp、やt…

よく使うのでテンプレートをメモしておく logging propertyのフォーマット pythonならこれを import logging import logging.config logging.config.fileConfig(”(logging property path)”) self.logger = logging.getLogger("hogehogetool")

シェルスクリプトを書いていると、たいてい真っ白カラーで出力していまいます。処理がちゃんと終わればそれでいいから、別に表示する文字の色なんてどうでもいいやと思ってました。たまたま、カラーオプションを教えてくれたので備忘として書いておきます。 …