アプリの教科書

アプリ・ウィンドウズで困ったことを調べたブログ

ウィンドウズ10やアプリで困ったことを調べたブログです。

スポンサーリンク


【Windows 10】無料スクレイピング用ソフト、おすすめは?

ネット上の価格データや在庫データをチェックしたい場合には、スクレイピング用ソフトを利用してチェックすると効率があがります。

ここではウィンドウズで使えるスクレイピングソフトのおすすめをまとめていきます。

スクレイピング用ソフトとは?

ネット上の商品価格や在庫情報、オークションの進捗などをチェックしたい場合、毎回ページへアクセスするは面倒です。

 

そこで便利なのがネット上の情報を自動で取得し、必要な部分だけ切り出してくれるスクレイピングとよばれるソフトです。

 

おすすめは?

ScrapeHuman

無料で使えるスクレイピングツール。

収集するリンクのURLや、切り出す開始ワード、終了ワードを指定します。

UserAgentを指定できるので、向こうのサーバログに残るアクセス情報についても設定できます。

f:id:apicode:20210223094451p:plain

 

実行すると、抜き出された文字列は「data」フォルダ内にテキストファイルとして保存されます。

 

必要最低限の機能といった感じですが、操作がシンプルで使いやすいと思います。

 

定期実行させたい場合にはタスクスケジューラと組み合わせることを想定しいるようです。

【C#】スクレイピングツール「ScrapeHuman」ver2.0.0 | ビビビッ

 

ScrapeHumanの詳細情報 : Vector ソフトを探す!

 

ParseHub

以下より入手できます。

https://www.parsehub.com/

f:id:apicode:20210223095324p:plain

 

設定では、ページを見た状態で抜き出したい場所を指定します。操作性はいいです。

ただ英語版のみのようで、日本語対応はなさそうなのが残念。

f:id:apicode:20210223095722p:plain

 

無料版は40分のうちに200ページの取得まで。

 

 

Octoparse

高機能のスクレイピングソフト。

シェアウェアとなっています。

Octoparse V7.0.0の詳細情報 : Vector ソフトを探す!

 

 

スクレイピングできない?

リンク

日本語が含まれるURLをそのまま指定するとエラーになることがあります。URLエンコードしたURLを入れると治るかもしれません。

 

HTMLを取得できない?

サイトによっては、ボットなどの自動アクセスツールと思われるHTMLの入手を遮断している場合があります。

 

他のサイトは入手できるのに、特定サイトだけ入手できない場合は、このような設定がされている可能性があります。

 

このブログは、ネットや書籍上の情報、個人の体験や感想を中心にまとめたものです。 正確性を期していはいますが、間違い・誤訳等あるかもしれません。 当サイトの情報によって生じたいかなる損失について一切の責任を負わないものとします. あらかじめご了承ください。

利用規約・プライバシーポリシー |〇問い合わせ