ネット上の価格データや在庫データをチェックしたい場合には、スクレイピング用ソフトを利用してチェックすると効率があがります。
ここではウィンドウズで使えるスクレイピングソフトのおすすめをまとめていきます。
スクレイピング用ソフトとは？
ネット上の商品価格や在庫情報、オークションの進捗などをチェックしたい場合、毎回ページへアクセスするは面倒です。
そこで便利なのがネット上の情報を自動で取得し、必要な部分だけ切り出してくれるスクレイピングとよばれるソフトです。
おすすめは？
ScrapeHuman
無料で使えるスクレイピングツール。
収集するリンクのURLや、切り出す開始ワード、終了ワードを指定します。
UserAgentを指定できるので、向こうのサーバログに残るアクセス情報についても設定できます。
実行すると、抜き出された文字列は「data」フォルダ内にテキストファイルとして保存されます。
必要最低限の機能といった感じですが、操作がシンプルで使いやすいと思います。
定期実行させたい場合にはタスクスケジューラと組み合わせることを想定しいるようです。
【C#】スクレイピングツール「ScrapeHuman」ver2.0.0 | ビビビッ
ScrapeHumanの詳細情報 : Vector ソフトを探す！
ParseHub
以下より入手できます。
設定では、ページを見た状態で抜き出したい場所を指定します。操作性はいいです。
ただ英語版のみのようで、日本語対応はなさそうなのが残念。
無料版は40分のうちに200ページの取得まで。
Octoparse
高機能のスクレイピングソフト。
シェアウェアとなっています。
Octoparse V7.0.0の詳細情報 : Vector ソフトを探す！
スクレイピングできない？
リンク
日本語が含まれるURLをそのまま指定するとエラーになることがあります。URLエンコードしたURLを入れると治るかもしれません。
HTMLを取得できない？
サイトによっては、ボットなどの自動アクセスツールと思われるHTMLの入手を遮断している場合があります。
他のサイトは入手できるのに、特定サイトだけ入手できない場合は、このような設定がされている可能性があります。