linux

「新しいシェルプログラミングの教科書」がめちゃめちゃ良かった

新しいシェルプログラミングの教科書作者:三宅 英明出版社/メーカー: SBクリエイティブ発売日: 2017/11/21メディア: 単行本シェルプログラミングは得意ですか?シェルプログラミングって苦手だったんですよね。っというか嫌い....。なぜかというと、何となく…

【python】組み込み関数open()でTypeError: an integer is required

open()でファイルを読み込もうとしたら こんなエラーがでた。 file = "zzz_test.txt" with open(file, "r", "utf-8") as f_r: print f_r.readline() Traceback (most recent call last): File "zzz_opentest.py", line 3, in <module> with open(file, "r", "utf-8")</module>…

echo でバックスペース文字を出力するオプション

たまにjsonの中身に\nが入ってて 「なんでこんなの入ってるのかなー?邪魔だなー」と思ってました。 わざわざ取り除くのがめんどうだなーと削除してました。例えばAWSのSQSメッセージを見てそのままechoで出力しようとすると \nが入ってて適切に出力されず、…

シェルコマンドのオプションの意味ならこれが便利!

シェルのコマンド理解してますか?僕はうろ覚えでやってます。 昔こうやってた、で覚えて今はそのまま何も考えずに そのオプションをつけてコマンド実行とかやってます。 最近になるとman で調べるのもおっくうで。。。でもこんなんではダメエンジニアになっ…

シェルで最後に改行の無いファイルを読むと最後の行は読み飛ばされる

たまーにあるんだけど windowsで作ったファイルをlinuxで読み込むと BOMが入ったり、末尾に改行がなかったりする。その末尾の改行がないファイルを読み込むと 最後の行が読み飛ばされることがあった。気づくまですげーめんどくさかった。。。 まあ解決方法は…

curl でURLのファイル存在確認をするには

これでOK curl -LI http://google.com/ # いろいろ返ってきますがリクエストの結果が返ってきます HTTP/1.1 200 OK Date: Tue, 10 Jul 2018 07:39:16 GMT Expires: -1 Cache-Control: private, max-age=0 Content-Type: text/html; charset=ISO-8859-1 P3P: …

正規表現を確認するのに便利ツール

正規表現を確かめるのに このサイトは便利だった。regex101.com ログをパースするとかけっこう悩むんですよね。 他にも探してみるといろいろありました。 regexper.com qiita.com regex-testdrive.comやっぱ自分は最初のサイトの方が使いやすいかな。 詳説 …

シェルスクリプト内で計算処理したい

シェルスクリプトでちょっとした計算したい時のメモ いくつか方法はありますが、下記が簡単二重カッコをつけるとできる。 XXX="90" YYY=$((${XXX}+10)) echo ${YYY} # <-- 100 他にもexpr でもできるけど 掛け算はダブルクオート("*") つけないとだめとか制…

【シェルスクリプト】タブ区切りファイル(tsv形式)を読み込むには

シェルスクリプトを書いててtsv形式のファイルを読み込んで パースする時にちょっと困った。単純に while read LINE で読み込んで cut でもすればいいだろうと思ったら どうもうまくいかない。どうやら勝手にタブがスペースになっているようだ。理由はよくわ…

「Linux のしくみ」を読んでみたけどかなりいい本

[試して理解]Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識作者: 武内覚出版社/メーカー: 技術評論社発売日: 2018/02/23メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見るlinux の中身を理解するのはかなりややこしい。 そ…

while で sshコマンドを実行すると1回しか実行されない

タイトルどおりなのですがすごく悩んだあげく ググってみたらすぐ解決策が見つかったのでメモしておく。たとえば下記のようにファイルを読み込んで毎回毎回ssh ログインしてコマンドを実行するとどうなるか? while read LINE do ssh user@host hostname don…

echoコマンドでカラー出力する方法

シェルスクリプトを書いていると、たいてい真っ白カラーで出力していまいます。処理がちゃんと終わればそれでいいから、別に表示する文字の色なんてどうでもいいやと思ってました。たまたま、カラーオプションを教えてくれたので備忘として書いておきます。 …