なんか面倒くさかったので，困っている人のためにメモ
そもそもWindowsはscipyのインストールが面倒くさい．↓を参考にしてお手軽にインストールした．
それでもまだ， ImportError: DLL load failed: The specified module could not be found. が出る．困った．どうやら，numpyをインストールするときも普通のnumpyではだめらしく，numpy-MKLをインストールしないといけないらしい(この辺は詳しくない)． 上の記事と同様 numpy-mklをwheel形式でインストール (Python Extension Packages for Windows - Christoph Gohlke)
そしたら動いた．
正直後から思ったんですが、urllib使うよりrequestsのほうが使いやすいと思うので、requestsを使うことをおすすめします (2016/07/17)
※ python2のurllibの情報が欲しい人はurllibの仕様が2系と違うのでこの記事を参考にしても意味ないです
Python3とbs4(beautifulsoup4)でAtCoderの便利スクリプトを作る．
対象読者はWebスクレイピングしたいけど，ブラウザ以外からのログインさえできる気がしないって人です．Pythonよくしらない人向けに書いたつもりでしたが，僕もPython初心者で教え方が全くわからないのでちょっと厳しいかも．
かなり手を抜いているのでコメントか直接何かしらの手段で質問してくれたら答えたいと思います．すみません．
bs4は何をしてくれるやつかっていうと，htmlとかxmlのタグをパースしてくれるというか，必要な情報抜き出してくれるやつです． 正規表現とかガリガリ駆使しながらタグ抜き出す作業するのは楽しいけどめんどいいので，そういった面倒臭さから僕達を遠ざけてくれます． 嬉しい!
pip install beautifulsoup4
でOK．pipがない人はインストールしといてください．
自分のアカウントでログインしたクッキーを維持しながらサイト内をWebスクレイピング(ウェブサイトから情報を抽出すること)しないといけません．
これはPython3に標準搭載されているurllibというインターネット上のリソースを取得するためのパッケージを使うと簡単に実現できます．
ログインはどのように行われるかというと，AtCoder(を含むいろいろなサイト)はPOSTリクエストという形式でログインに必要な入力データを持ってあるURLにリクエストすると，ログイン処理を行ってくれるように出来ています．
AtCoderのログインフォーム(https://arc001.contest.atcoder.jp/login) を見ると，以下のようになっています．
<input type="text" id="name" class="input-xlarge" name="name" value="" autocomplete="off">
<input type="password" id="name" class="input-xlarge" name="password" value="">
name部分が重要に注目してください．"name"と"password"になっていますね． これに関するデータをPOST形式で渡すときの要素名になります．
さっそくAtCoderにログインしてみましょう．
ディクショナリをPOSTデータの実質の形式(password=パスワード&name=ユーザー名)にしてくれる関数urllib.parse.urlencode()があるので，それを使います．
username,password = 'ユーザー名','パスワード'
postdata = {
'name': username,
'password': password
}
encoded_postdata = urllib.parse.urlencode(postdata).encode('utf-8')
req = opener.open("https://arc001.contest.atcoder.jp/login",encoded_postdata)
print(req.read().decode('utf-8')) # req.read()だけだとバイナリで表示されてよくわからないのでutf8の文字列に変換
ログインに成功するとトップページに飛ぶので， 表示されたソースに「パスワードを忘れた方はこちら」とかが無ければログインに成功しています． おめでとうございます．
参考にさせて頂いたサイト様: http://stackoverflow.com/questions/5010915/how-do-i-clear-the-cookies-in-urllib-request-python3
ひとたび/loginにアクセスしてログインに成功したら，openerにクッキーの情報が紐付いてくれているので，あとは好き放題リクエストしまくりです．
では，問題番号とそれに対応するURLのリストを取得してみましょう． 課題ページ(http://arc001.contest.atcoder.jp/assignments )のソースを見て，問題へのリンクがあるところを抜き出すと，以下のようになっています．
<td class="center"><a class="linkwrapper" href="/tasks/arc001_1">A</a></td> <td><a class="linkwrapper" href="/tasks/arc001_1">センター採点</a></td>
どうやら運の良いことに問題ページのURLにリンクされている⇔classがlinkwrapperであるタグで囲まれているということが分かりますね．
soupのオブジェクトを作って，select関数で.linkwrapperクラスのタグを全列挙してみましょう．
以下のコードにドットがついているのはcssのclassだからだと思います．
req = opener.open("http://arc001.contest.atcoder.jp/assignments")
soup = BeautifulSoup(req,"html.parser")
for tag in soup.select('.linkwrapper'):
print(tag)
実行結果は以下のようになると思います． 実際にはtagは文字列型ではなくいろいろ操作ができるオブジェクトですが，あくまでprintした時の挙動はタグそのものを出力します．
<a class="linkwrapper" href="/tasks/arc001_1">A</a> <a class="linkwrapper" href="/tasks/arc001_1">センター採点</a> <a class="linkwrapper" href="/tasks/arc001_2">B</a> <a class="linkwrapper" href="/tasks/arc001_2">リモコン</a> <a class="linkwrapper" href="/tasks/arc001_3">C</a> <a class="linkwrapper" href="/tasks/arc001_3">パズルのお手伝い</a> <a class="linkwrapper" href="/tasks/arc001_4">D</a> <a class="linkwrapper" href="/tasks/arc001_4">レースゲーム</a>
1つの問題につき2つリンクがあるので，これはお好みですが0,2,4,...番目だけ取り出せばいい感じになると思います．どうせこのへん賢くやっても仕様変更されたらおしまいなので，その時点で動いてればいいんじゃないでしょうか．
せっかくなので問題番号とそれに紐付いたURLというタプルのリストを作ってみましょう． PythonはすごいのでリストXに対してX[0::2]とすると2個飛ばしでリストを抜き出してくれます． こんなかんじになります．
X = []
for tag in soup.select('.linkwrapper')[0::2]:
problemid = tag.text
url = "http://arc001.contest.atcoder.jp"+tag.get("href")
X.append((problemid,url))
print(X)
ここで，tagのメンバとかメソッドでtextとかget("href")とかありますが，これはそれぞれタグの囲まれている中身やタグの属性を取得してくれる便利なやつです．
出力結果は以下の通りです．
[('A', 'http://arc001.contest.atcoder.jp/tasks/arc001_1'), ('B', 'http://arc001.contest.atcoder.jp/tasks/arc001_2'), ('C', 'http://arc001.contest.atcoder.jp/tasks/arc001_3'), ('D', 'http://arc001.contest.atcoder.jp/tasks/arc001_4')]
ところで，リスト内包表記という記法を使ってタプルのリストを作るソースが以下のようになります． こういうワンライナーな使い方をすると可読性が低い気もしますが書きやすいです．
print([(tag.text,"http://arc001.contest.atcoder.jp"+tag.get("href")) for tag in soup.select('.linkwrapper')[0::2]])
あとはやることは同じです． ソースがどういう構造になってるか眺めながら，特徴になってきそうな部分を取り出してくるだけです． どうやら入出力の枠はpreタグで表現されているみたいです．これを全て取得すれば常勝では!?
しかし，気をつけることがあります．AtCoderの問題文は作る人によってhtmlのフォーマットが微妙に違うっぽいです． 具体的な例としては，preタグを入力形式・サンプル入出力以外にも使っている作問者がいるということが挙げられます．
ちなみにpreタグについている属性も人によってまちまちなので，あまりそこを情報として使うとよくないかも．
ただまあ，大体はお行儀の良い感じになっているはずなので，取得してみてバグったら修正を繰り返してればなんとかなるはずです．
ARC001のA問題(http://arc001.contest.atcoder.jp/tasks/arc001_1 )に対して，preタグでフィルタをかけてみましょう．
req = opener.open("http://arc001.contest.atcoder.jp/tasks/arc001_1")
soup = BeautifulSoup(req,"html.parser")
for tag in soup.select('pre'):
print(tag)
<pre> <var>N</var> <var>c_1c_2c_3…c_N</var> </pre> <pre class="prettyprint linenums"> 9 131142143 </pre> <pre class="prettyprint linenums"> 4 1 </pre> <pre class="prettyprint linenums"> 20 12341234123412341234 </pre> <pre class="prettyprint linenums"> 5 5 </pre> <pre class="prettyprint linenums"> 4 1111 </pre> <pre class="prettyprint linenums"> 4 0 </pre>
かなりいい感じに取れましたが，入力の項が混ざっています．これを取り除くために，一例として以下の方針が考えられます．
prettyprintもしくはlinenumsクラスをselectに指定する
1つ目の取得結果を問答無用で取り除く
ARC001〜ARC004の範囲ならどちらの方針でも正しく動きそうです． 必要・十分条件とどれくらいのコンテストに対して成り立ちそうかみたいなのを強く意識すると正しい選択ができるかもしれませんが，これといった正解はないです．アドホックです．
まあとりあえずそのへんどう処理するかはおいおい考えるとして， とりあえず入力と出力を切り分けてみます．2.の方針のほうが多分多くのケースを網羅できるんですが，今回は1.の方針でやってみましょう．
opener = opener.open("http://arc001.contest.atcoder.jp/tasks/arc001_1")
soup = BeautifulSoup(req,"html.parser")
tags = soup.select('.prettyprint')
input_tags = tags[0::2]
output_tags = tags[1::2]
# len(input_tags) == len(output_tags) は勝手に仮定
for i in range(len(input_tags)):
print("---- sample %d ----" % i) # こういう記法です
print(input_tags[i].text.strip()) # strip()は前後の改行空白消してくれるやつです
print("--")
print(output_tags[i].text.strip())
print()
出力結果は以下の通りになります．
---- sample 0 ---- 9 131142143 -- 4 1 ---- sample 1 ---- 20 12341234123412341234 -- 5 5 ---- sample 2 ---- 4 1111 -- 4 0
概ねこんな感じになりました． いい感じですね．あとはこのテキストをファイルに保存したりしたら自動ダウンローダーは完成です．おめでとうございます．
ところで，前後の改行空白を消すためにstrip()を使っていますが，不具合の元になる可能性はあります．が，そんな入力作るwriterいないと思いますし，サンプルに関してはミスって無駄に改行がある回とかがある可能性もあるのでstrip()する方針は間違ってなさそうです．
いかがでしたでしょうか． 実はダウンローダーツールを作っていて，そのついでに並行でこの記事を書いてみました． 自分が扱ってるコードとここに書いたコードはいろいろ違うので，もしなんかこの部分動かないよ!ってのがあったらコメントください．
bs4についてもっと知りたい人は以下の記事が参考になると思います．僕もこれを見ました．ありがとうございます． http://qiita.com/itkr/items/513318a9b5b92bd56185
コメント取得には，ニコニコ動画のIDではなく，固有のスレッドIDが必要らしい．
# -*- coding: utf-8 -*- import urllib2, cookielib from urlparse import parse_qs import re class NiconicoCommentGetter: def __init__(self,username,password): cj = cookielib.CookieJar() # Cookieを格納するオブジェクト cjhdr = urllib2.HTTPCookieProcessor(cj) # Cookie管理を行うオブジェクト self.opener = urllib2.build_opener(cjhdr) # OpenDirectorオブジェクトを返す self.opener.open("https://secure.nicovideo.jp/secure/login","mail=%s&password=%s" % (username,password) ) def get(self,smID): # smIDからthreadIDの取得 r = self.opener.open('http://flapi.nicovideo.jp/api/getflv/' + smID) html = r.read() res = parse_qs(urllib2.unquote(html)) # threadIDからコメントxmlの取得 r = self.opener.open("%sthread?version=20090904&thread=%s&res_from=-1000" % (res['ms'][0],res['thread_id'][0]) ) xml = r.read() # コメントのパース(無理やり，仕様変わってダメになるかも) comments = [] rm = re.compile(">(.*)</chat") for line in xml.split('><') : g = rm.search(line) if( g != None ) : comments.append(g.group(1)) return comments commentGetter = NiconicoCommentGetter("email", "pw") for i in commentGetter.get("sm7"): print(i)
a 懐かしいな 最も古い動画？ こんなのあるんだ sm7がなんで今更出現したの? はえ＾～ 7コメ、記念カキコ とうこうびなぞすぎ ６と８無いよ なんでsm7が今更ｗｗｗｗｗｗ ...(略)
コンテスト部分です．レポートがやばいので適当に書きます．
2015年の11/28-11/30に行われたICPC2015の筑波アジア地区大会に行ってきました．
がんばって敬称略します．
遅くなりましたがcodefestival 2015のコンテスト部分参加記です．
2015/11/14-15に行われたCodeFetival2015に参加してました．結論からいうとサイコーでした．
ただメインコンテストの成績が悪いと一気に記憶がなくなりますね．
せっかく超楽しいイベントだったので頑張って思い出します．割と適当なので事実と異なることが書かれていたら指摘してください．
図1. しぐまさんのブログから拝借(http://sigma425.hatenablog.com/entry/2015/11/15/224851)
(だいぶ書くの忘れてたので適当に書きます)
