当サイトにはアフィリエイトリンクが含まれています。
リンク経由で申し込まれた場合、筆者に紹介料が入ることがあります(あなたの支払額は変わりません)。とはいえ、報酬の出るツールを無理に勧めても双方にとって意味がないので、合わないものは合わないと書いています。
「毎朝これをコピペしている」に、そろそろ終止符を打ちたい
一人でサービスやメディアやショップを回していると、いつの間にか手作業の定点観測が生活に組み込まれています。
競合の価格ページを開いて、値段をスプレッドシートに転記する。求人サイトを巡回して、新着だけ拾う。自分の商品が並んでいるモールのページを見て、順位が落ちていないか確かめる。ひとつひとつは五分で終わるので、やめる決心がつかない。けれど五分の作業が七つあれば三十五分で、それが週五日なら月に十二時間を超えます。
厄介なのは、その十二時間が「仕事をした感じ」を伴うことです。手は動いているし、数字は集まっているし、進んでいる気もする。だから優先度が上がらないまま何ヶ月も残り続けます。
もうひとつ厄介なのが、手作業は抜けるということです。忙しい日は飛ばす。飛ばした日に限って競合が値下げしている。気づくのは二週間後で、そのときにはもう「いつから下がっていたのか」が分からない。定点観測は連続しているから意味があるのに、人間がやると連続しなくなる。
ここを埋めるのがノーコードのスクレイピングツールです。ブラウザで取りたい箇所をクリックして指定すると、あとは自動で取ってきてくれる。コードは書かない、あるいはほとんど書かない。
ただ、この分野のツールは見た目が似ているわりに設計思想がかなり違っていて、「一番いいやつ」を選ぼうとすると高確率で外します。ダッシュボードのスクリーンショットを並べても違いは分かりません。判断材料になるのは、もっと地味な三つの問いです。
選ぶときに効く、三つの問い
機能の一覧は毎年入れ替わります。料金ページも改定されます。それでも変わらないのは判断の形のほうで、この三つに答えられていれば、比較表を眺める時間はぐっと短くなります。
1. 「取りに行く」のか、「見張る」のか
これが最初にして最大の分岐点です。同じ「スクレイピングツール」という看板の下に、目的の違う二種類の道具が同居しています。
一発抽出型は、いま目の前にあるリストを丸ごとデータにするための道具です。競合の商品を三千件ぶんCSVに落とす、業界のディレクトリから企業名と連絡先を抜く、といった使い方。走らせるのは一回か、たまに。欲しいのは「幅」です。
監視型は、同じページを定期的に見に行って、前回と何が変わったかを教えてくれる道具です。この価格が動いたら通知する、新しい行が増えたらスプレッドシートに追記する。欲しいのは「差分」であって、データの量ではありません。
両方できると謳うツールは多いのですが、どちらを主眼に作られているかは使うとすぐ分かります。一発抽出型で監視をやろうとすると、スケジュール設定が後付けっぽくて通知が貧弱。監視型で大量抽出をやろうとすると、クレジットがあっという間に溶ける。
自分に必要なのがどちらかは、こう考えると切り分けられます。「そのデータ、いつ見る?」——取ったその日に眺めて終わりなら一発抽出型。毎週なり毎朝なり、変化を追い続けたいなら監視型です。ここを間違えると、道具のせいではなく用途のミスマッチでストレスを抱えることになります。
2. 課金の単位が、自分の使い方と噛み合っているか
このカテゴリーの料金体系はばらばらで、しかもそれぞれ詰まる場所が違います。月額の数字だけを横並びにすると、まず読み違えます。
- クレジット制(抽出した行数やページ数で減る)— 取る量が増えるほど効く。少量を高頻度で回すぶんには余裕がある。
- タスク数制(作った抽出設定の本数で決まる)— 監視対象のサイトが増えるほど効く。一つのタスクで大量に取るぶんには影響しない。
- URL/ページ制(読み込んだページ数で減る)— ページ送りの深いサイトで効く。一覧ページ一枚から百件取れるなら安く、詳細ページを百枚開くなら高い。
- 従量課金(使ったぶんだけ)— 上限がない代わりに、青天井にもなりうる。
自分の使い方をこの四つの軸に置き直してみてください。「二十サイトを毎日ちょっとずつ見張る」人と「一サイトから月に一度、五万行を抜く」人では、同じ月額でも実際の当たり方が正反対になります。前者はタスク数制で詰まり、後者はクレジット制で詰まる。
無料枠の使い道もここで決まります。無料枠は「試す」ためではなく、自分の使い方でどこから減るのかを測るために使うのが正解です。一週間ふつうに回してみて、何がいちばん早く減ったか。その数字を持って料金ページに戻ると、選ぶべきプランはたいてい一つに絞れています。
3. 壊れたとき、誰が直すのか
これが一番軽視されていて、一番あとから効いてきます。
スクレイピングの設定は、相手のサイトの見た目に依存しています。相手がデザインを変えれば、こちらの設定は壊れます。相手はこちらの都合を知らないので、予告もありません。ECサイトやニュースサイトなら年に何度かは何かが変わると思っておいたほうがいい。
このとき問題になるのは、直す手間そのものよりも壊れたことに気づくまでの時間です。エラーで止まってくれるなら、まだいい。最悪なのは、半分だけ取れて半分が空欄になり、それでも正常終了してしまうパターン。数字は毎日更新されているように見えるのに、中身が抜けている。
だから見るべきは、機能表の「スケジュール実行」に丸が付いているかではなく、その先です。
- 取得に失敗したとき、通知は飛ぶか。ダッシュボードを見に行かないと分からない設計になっていないか
- 前回と件数が大きく変わったときに気づける仕組みはあるか
- 相手のサイトが変わったときに、設定を作り直すのがどれくらい面倒か。クリックし直すだけなのか、一から組み直しなのか
- 自分が直せなかったとき、サポートに投げられるのか、それとも自力しか道がないのか
この観点でツールを見ると、AIが構造を推測して自動で拾ってくれるタイプは「作るのは楽だが、壊れ方が読めない」、手でセレクタを指定するタイプは「作るのは手間だが、壊れたときに原因が分かる」という傾向があります。どちらが向くかは、あなたが技術的な詮索をどれくらい苦にしないかで決まります。
(その前に)そもそも取っていいのか、という確認
法律の話は専門家の領域なので断定は避けますが、実務として最低限これだけは踏んでおくと安全側に寄れます。
相手サイトの利用規約に自動取得の禁止条項がないか目を通す。robots.txt を確認する。ログインの内側にあるデータや個人情報にあたるものには手を出さない。取得の間隔を空けて、相手のサーバーに負荷をかけない。公式のAPIが用意されているなら、まずそちらを検討する。
このあたりの判断が微妙だと感じたら、その案件は見送るか、詳しい人に相談してください。ツール選びより先に効いてくる話です。
六つのツールを並べてみる
一発抽出寄りから監視寄りまで、そして無料の拡張機能から開発者向けAPIまで幅を取りました。価格は各社の公表値(年払い換算を含む)で、変わることがあるので申し込む前に必ず公式ページで確認してください。
| ツール | 得意なこと | 課金の単位 | 現実的に落ち着くプラン | 無料枠 | 見落としやすい点 |
|---|---|---|---|---|---|
| Browse AI | 変更監視と定期取得 | クレジット+サイト数 | Personal 年払 約$19/Professional 年払 約$69 | あり(月50クレジット・2サイト) | 対象サイト数に上限。超過は追加課金 |
| Octoparse | 複雑なサイトからの大量抽出 | タスク数+同時実行数 | Standard 約$69 | あり(タスク10・ローカル実行のみ) | 無料枠はクラウド実行なし。IP切替も有料から |
| Thunderbit | 拡張機能で即席の抽出 | クレジット | Starter 年払 約$9/Pro 年払 約$16.5〜 | あり(月6ページ) | 無料枠が小さく、実質は有料前提 |
| Web Scraper | まず無料で仕組みを覚える | URLクレジット(クラウド) | 拡張機能は無料/Project 約$50 | あり(拡張機能は無料) | 定期実行はクラウド課金から |
| Apify | 既製スクレイパーの流用と拡張 | 従量(月額に利用枠が付く) | Starter 約$29+従量 | あり(月$5ぶん) | 使用枠は翌月繰越なし |
| Firecrawl | コードから叩くAPI | クレジット | Hobby 約$16/Standard 約$83 | あり(月1,000クレジット) | ノーコードではない。要コード |
一つずつ、正直なところ
Browse AI
向いている人: 決まったページを定期的に見張りたい人。価格・在庫・新着・順位のように、欲しいのが「データの山」ではなく「変化した事実」である人。
Browse AI の中心にあるのは「ロボット」という単位です。取りたい箇所をブラウザ上でクリックして教えると、その手順を覚えたロボットができる。あとはスケジュールを決めれば、勝手に見に行って、変わっていたら知らせてくれる。Google スプレッドシートや Airtable、Zapier 経由の連携も素直です。
このツールの性格がよく出ているのが、料金の刻み方です。クレジット(取得量)だけでなく対象サイト数にも枠があり、Personal で5サイト、Professional で10サイト。つまり「一つのサイトから大量に取る」より「複数のサイトを継続的に見張る」使い方を前提に値付けされている。設計と課金が一致しているツールは、使っていて不意打ちが少ないです。
良いところ
- 監視という用途に対して、設定から通知までの導線が一本につながっている
- 無料枠(月50クレジット・2サイト)が、お試しではなく小さな本番として成立する分量
- ログインの必要なページや、ページ送りの深いリストにも比較的強い
- 連携先が多く、取ったデータを既存のスプレッドシートに流し込むまでで完結できる
気をつけるところ
- 対象サイト数の上限が実質的な天井になる。追加は一サイトあたり月数ドルの課金
- 大量抽出をやらせるとクレジットの減りが速い。そこは得意分野ではない
- 相手サイトの改修で止まったときは、結局こちらで設定し直す必要がある
- 管理画面もドキュメントも英語。日本語の実践的な解説記事は、この分野全体としてまだ薄い
Octoparse
向いている人: 相手のサイトが複雑で、他のツールでは歯が立たなかった人。そして、日本語のサポートを重視する人。
Octoparse はこの中でいちばん歴史が長く、いちばん「ちゃんとしたソフトウェア」です。デスクトップアプリで細かくワークフローを組めるので、ページ送り、無限スクロール、ドロップダウン、ログイン、条件分岐といった面倒な相手に正面から向き合えます。CAPTCHA対応やIPローテーションも上位プランに入っている。
そして日本語の情報量がこのカテゴリーで頭ひとつ抜けています。日本語UIがあり、日本語の公式ドキュメントとチュートリアルが揃っている。英語ドキュメントを読み解く時間を惜しむなら、これは無視できない差です。
料金は Standard が月$69、Professional が月$249。無料プランはタスク10個までで、クラウド実行・IP切替・CAPTCHA対応は含まれません。つまり無料枠は「機能の下見」であって、無料のまま運用に乗せるものではない、と割り切る必要があります。
良いところ
- 難しいサイトへの対応力がこの中でおそらく最も高い
- 日本語のUI・ドキュメント・サポートが揃っている
- テンプレートが豊富で、有名サイトなら設定を一から作らなくて済むことがある
- タスク数課金なので、一つのタスクで大量に取るぶんには追加費用が読みやすい
気をつけるところ
- 月$69は、個人が趣味の延長で始めるには軽くない金額
- デスクトップアプリ前提の設計で、覚えることが多い。触り始めの一日は消えると思っておく
- 無料枠でできることが限られており、実質的な試用にはなりにくい
- 監視・差分検知としての使い勝手は、専用に作られたツールに一歩譲る
Thunderbit
向いている人: 「いま見ているこのページ、表だけ欲しい」が週に何度も発生する人。準備の手間をとにかく削りたい人。
Thunderbit はChrome拡張として動き、AIにページの構造を推測させて列を提案させる方向に振り切っています。ボタンを押すと「この表はこういう列で取れそうです」と出てきて、良ければそのまま取る。うまくいったときの速さは、この中で群を抜いています。
料金はクレジット制で、Starter が月$15(年払いなら月$9相当)で500クレジット、Pro 1 が月$38(年払い月$16.5相当)で3,000クレジットから、上は年払い月$137.5相当の20,000クレジットまで。無料プランは月6ページなので、これは体験版と考えたほうが正確です。
良いところ
- 立ち上がりが速い。設定を「組む」というより「押す」に近い
- 年払いにしたときの単価が、このカテゴリーではかなり安い部類
- 拡張機能なので、いま開いているページからそのまま作業に入れる
- 日本語のコンテンツを継続的に出しており、情報にたどり着きやすい
気をつけるところ
- AIの推測が外れたときに、なぜ外れたのかが見えにくい。手で細かく直す余地は小さい
- 無料枠が月6ページと小さく、自分の用途で測るには足りない
- プランの刻みが多く、どこに着地するのかを事前に読みにくい
- 大規模・長期の安定運用より、日々の即興作業に寄った設計
Web Scraper(webscraper.io)
向いている人: お金をかける前に、スクレイピングという作業そのものを理解したい人。
Chrome拡張が完全に無料で、しかも機能を絞った体験版ではありません。サイトマップを組んで、セレクタを指定して、ページ送りをたどって、CSVに落とすところまで無料でできる。ローカルのブラウザで動くので、そのぶん自分のマシンを開けておく必要はありますが、費用はゼロです。
このツールの本当の価値は、セレクタという概念を手で覚えられることだと思っています。ここを一度通っておくと、他のどのツールを使っても「なぜ壊れたのか」が読めるようになる。AIに任せる系のツールから入った人が最初につまずくのが、まさにこの部分です。
定期実行やクラウド実行が欲しくなったら Web Scraper Cloud で、Project が月$50、Professional が月$100。URLクレジット制(読み込んだページ数で減る)です。
良いところ
- 無料の範囲が本物。予算ゼロで始められる
- 仕組みが露出しているぶん、壊れた原因を追跡しやすい
- ここで身につく知識が、他のツールに移っても腐らない
- 学習用の資料が公式に整備されている
気をつけるところ
- 無料の範囲では自分のブラウザを開いておく必要があり、放っておいて集まるものではない
- クラウド版の月$50は、他のツールの入門プランと比べると軽くはない
- 通知や差分検知の作り込みは薄い。監視用途には手当てが要る
- 用語がそのまま出てくるので、最初の数時間は調べ物が発生する
Apify
向いている人: 欲しいデータが有名サイトのもので、誰かがすでに同じものを作っている可能性が高い人。
Apify は単体のツールというよりプラットフォームで、「Actor」と呼ばれる既製のスクレイパーが並んだストアがあります。主要なECやSNSやマップのように、需要が集中している対象なら、たいてい誰かが作ったものが見つかる。自分で設定を組む代わりに、既製品を選んで入力を渡すだけで済むことがあります。
課金は従量制で、Free が月$5ぶん、Starter が月$29ぶん、Scale が月$199ぶんの利用枠付き。使わなかったぶんは翌月に繰り越されません。月によって使う量が大きく振れる人には、この点だけ先に頭に入れておいてほしいところです。
良いところ
- 既製Actorがハマったときの省力ぶりは、他のどのツールとも比較にならない
- 従量制なので、使わない月のコストが小さい
- APIとスケジューラが整っていて、自分のシステムに組み込みやすい
- 無料枠でも実際に動かして感触を確かめられる
気をつけるところ
- 従量制は上限が読みにくい。設定を間違えると一晩で枠を使い切ることもある
- Actorには第三者製が多く、品質と保守の頻度にばらつきがある
- ノーコードで完結する場面と、結局コードに触れる場面が混在する
- 使用枠の翌月繰越なし
Firecrawl
向いている人: ちょっとでもコードが書ける人。特にAIに読ませるためのテキストが欲しい人。
これはノーコードではありません。この一覧に入れているのは、コードが書ける人にとって、ノーコードツールの月額はしばしば割高だからです。APIを叩いてURLを渡すと、整形されたMarkdownやJSONが返ってくる。生成AIに食わせる前処理としてはこれが一番素直です。
無料枠が月1,000クレジット、Hobby が月$16で5,000、Standard が月$83で100,000。個人開発者の実験用途なら、無料枠のままかなり長く粘れます。
良いところ
- コードが書けるなら、単価あたりの取得量がこの中で最も有利
- 出力がMarkdown/JSONで整っており、AIへの投入までの手間が少ない
- 無料枠が実用的な量
- ノーコードツールの「できることの天井」に縛られない
気をつけるところ
- コードが必須。クリックだけで完結させたい人には選択肢に入らない
- スケジュールも通知も自分で組む。ダッシュボードは付いてこない
- クレジットの消費量を自分で見積もる必要がある
- 「見張る」機能は自前実装
状況別に、どれを選ぶか
競合の価格や在庫を毎日見張りたい。 → Browse AI。設計がこの用途そのもので、通知までの導線が短い。まず無料枠の2サイトで、いちばん気になる競合だけ登録して一週間回してみてください。それで足りなければ Personal に上げる、という順番が無駄がありません。
日本語のサポートがないと不安。相手のサイトも複雑。 → Octoparse。月$69は安くありませんが、英語ドキュメントと格闘する時間を時給に換算すると、逆転することは十分あります。難しいサイトに繰り返し挑むなら、これが一番手数が多い。
その場その場で、見ているページを表にしたい。 → Thunderbit。準備の手間がほぼゼロなのが効きます。ただし無料枠が月6ページなので、判断するには最低プランを一ヶ月試すことになります。
まず予算ゼロで、何ができるのか知りたい。 → Web Scraper の無料拡張機能。ここで一つ動くものを作ってから他のツールを見ると、比較表の読み方が変わります。遠回りに見えて、たぶん一番近道です。
欲しいのが有名サイトのデータ。 → Apify のストアをまず検索。既製のActorがあれば、設定を組む工程が丸ごと消えます。なければ他のツールに戻ればいい。
コードが書けて、AIに読ませるためのテキストが欲しい。 → Firecrawl。無料枠のままかなりのことができます。ノーコードツールに月額を払う前に、一度試してみる価値はあります。
どれを選べばいいか本気で分からない。 → Browse AI と Web Scraper の無料枠を、同じ一つのサイトに対して同時に試してください。片方は仕組みを隠し、片方は仕組みを見せる。二つ触ると、自分がどちらの手触りを好むかがはっきりします。それが分かってしまえば、残りの選択はほぼ自動的に決まります。
自動化したあとに、私がやらかしたこと
ひとつだけ、自分の失敗を書かせてください。
以前、扱っていた商材の競合価格を毎朝取得する仕組みを組んだことがあります。二時間ほどで動くようになって、翌朝にはスプレッドシートに数字が並んでいました。手作業から解放された喜びは大きくて、しばらくは毎日ニヤニヤしながら眺めていました。
そして、眺めるのをやめました。動いているものは見なくなる。当たり前の話です。
六週間後、価格改定の検討で久しぶりにそのシートを開いて、違和感がありました。ある競合の価格が、ずっと同じ数字で止まっている。おかしいと思ってサイトを見に行ったら、その競合はとっくにリニューアルしていて、価格の表示場所が変わっていました。こちらの設定はその場所を見つけられず、けれどエラーは出さず、前回取れた値をそのまま並べ続けていたのです。
四週間ぶんのデータが死んでいました。しかも、その四週間のあいだに相手は二回値下げしていた。
学んだのは、自動化の失敗は派手に転ばないということです。派手に壊れてくれるなら気づけます。本当に怖いのは、正常なふりをして間違ったデータを流し続けるパターンのほう。
それ以来やっていることは単純です。取得失敗の通知を必ず有効にする。 そして**「値が変化しなかった日が続いたら疑う」というルールを自分の中に置く**。競合の価格が三週間ぴったり同じなら、それは相手が値段を変えていないのではなく、こちらが見えていないのかもしれない。月に一度、五分でいいので、取れている数字を実際のページと突き合わせる時間を取っています。
自動化は監視の手間をゼロにはしません。十二時間を一時間に減らすだけです。その一時間を手放すと、たいてい静かに何かが壊れます。
まとめ
一文にすると、用途を先に決めて、無料枠で減り方を測って、通知を必ずオンにする。この順番を守れば、どのツールを選んでも大きく外しません。
ツール選びで悩んでいる時間の大半は、たぶん本当は「自分が何を知りたいのか」が固まっていないことから来ています。「競合の動きを把握したい」は要件ではありません。「A社とB社の主力三商品の価格が動いたら、その日のうちに知りたい」まで降りてくると、必要なツールも必要なプランも、ほとんど自動的に決まります。
そして最初の一つは、いちばん面倒な作業ではなく、いちばん頻度の高い作業から自動化してください。面倒な作業は難しいので、途中で心が折れます。頻度の高い作業は簡単なことが多く、しかも効果がすぐ数字で返ってくる。一つ動くと、二つ目は驚くほど早く組めるようになります。
各ツールの料金やプラン構成が変わることがあります。この記事の内容と公式サイトの表示が食い違っていたら、教えていただければ直します。