wget + sed を使ったクローリング&スクレイピングのコンセプトの紹介に始まり、クローリング先の Web サイトに迷惑を欠けないための配慮（クローリング間隔の設定、robots.txt の解釈など）やデータベースへの保存など周辺知識についての説明も交えながら数…