2019-01-11

io.Readerはスレッドセーフなのか

Golang のインターフェイスにある io.Reader は、スレッドセーフなのか。気になったので、調べてみた。
結論から言えば

os.File は、スレッドセーフになってる
それ以外は、実装によるけど、スレッドセーフじゃないと思った方がいい

っという感じになってた。

2018-12-08

colaboratory用のプログレスバー

夏頃から話題に上がってる colaboratory を数週間いじってた。

Python には詳しく無いので、コピペしたり書き換えたりしながらいじってたけど。
colaboratory のイケてない点として、プログレスバーやログが延々と溜まっていく点が挙げられる。

原因を調査を調査してみると、どうやらエスケープシーケンスが無視されてるのが原因のようだ。

sys.stdout.write('\r') # work
sys.stdout.write('\033[J') # not work

キャリッジリターンは効くので、1行だけは消せる。 (※正確には、1行だけ上書きできる)
けど、ログやプログレスバーなど、複数行を消すのは、どうやら無理そうだった。

良い手立ては無いか探してたら、いいものを見つけた。

GitHub - fastai/fastprogress: Simple and flexible progress bar for Jupyter Notebook and console

使い方のサンプルが少ないのが玉に瑕だったけど、colab でも使えることを確認した。
これを chainer の extension として使えるように実装してみた。 (見よう見まね)

Progressbar & loss image & sample image extension for chainer · GitHub

f:id:minowith:20181208175619p:plain

※内部的には IPython.display を更新してるので、それを使えば更新表示はできるのかもしれない・・・

注意点

現在わかってる問題として、損失グラフが extensions.PlotReport と違う結果を返すということが挙げられる。
ブログを書いてるときに分かったので、あとで直してみる。
[追記] 修正しました。

2018-11-19

並列処理の本を読み終わったので、並列処理を作りました

寝る前にのんびり読んでたので、読み終わるのが遅くなりましたが。
「Go言語による並行処理」を読み終わりました。

www.amazon.co.jp

読み終わった記念に、ストリームっぽい書き方ができる物を作りました。

github.com

2018-10-26

zipをいじれるコマンドを作りました

もう2週間前になりますが。
zipをいじれるコマンド ziped を作りました。

github.com

簡単な使い方

# ファイルの中身表示
ziped ls hoge.zip

# 該当するファイルを削除
ziped rm hoge.zip --filter="hoge.cpp" --overwrite

# ファイルの名前を変更
ziped rename hoge.zip --from=".cpp" --to=".c++" --overwrite

# ファイルの中身を変更
ziped convert hoge.zip --cmd="optimizer.exe" --filter="*.cpp"