2010/03/16 (Tue) Pythonを使ってみた。

統計には主にRを使っている（数値シミュレーションの色が濃いときはMatlab.  でも近いうちにフリーのOctaveに乗り換える予定）。Rではscan関数を使ってwebアクセスが可能。たとえば、
    x <- scan("http://jiy.blog.shinobi.jp/", what="", sep="\n")
とすれば、このブログのトップページのHTMLソースが変数xに文字列ベクトルとして格納される。ただ、テキスト以外（XLS、PDF、画像 etc...）を適切に読み込む方法が分からなかった（できるのか？）。あと、パスワード認証やCookieの設定が必要な場合にはどうやればいいのか分からなかった（できるのか？）。

Rでのやり方を探すより、他のより適切な言語を使ったほうが速そう、ということでPythonを使ってみた。だいぶ良い。Pythonの基本については公式のチュートリアルで大体学べるので、そちらを参考に（日本語、英語）。Cookieやパスワード認証のやり方は目下勉強中だが、様々なファイルのダウンロードについてはurllibモジュールのurlretrieve関数でできる。

Pythonを用いて、かねてより検討していたmangahelpersからのダウンロードを自動で行うスクリプトを書くことができた（別にそれが目的だったわけではないけど）。寝ている間にプログラムを回して数十冊を落とすことも理論上は可能。

次回はmixiのフォトアルバムを一括ダウンロードする方法について。