ノーコードのスクレイピングツールを7選おすすめ

ノーコードでスクレイピングができる、「ビジュアルスクレイピングツール」について7つのサービスをまとめました。基本的には無料で利用することができるサービスを主としてまとめています。

image

1: Simplescraper

なお、Simple Scraperではいくつかのプランが用意されており、無料のFreeプランでは執筆時点で5,000回のAPIコールができるようになっています。本格的に使用する場合は有料のPlus、Proプランが用意されています。

2: Import.io

Web Data Integration - Import.io - Data Extraction, Web Data, Web Harvesting, Data Preparation, Data Integration https://www.import.io

現在、無料版は利用できなくなっているようです。

import.ioの機能

  • 無料(Community Eddition)で毎月1,000ページのスクレイピングが可能
  • スケジュール自動実行も可能
  • API, webhook接続可能
  • ページネーション対応
  • 画像保存可能

ページネーションと無限スクロールの設定方法 Advanced Pagination & Infinite Scroll – Import.io Help Center

Google Sheets : スプレッドシートにAPI経由でリアルタイムに取得データを同期させる方法(コピペでOK) Using Google Sheets IMPORTDATA with Import.io – Import.io Help Center

3: Google Chrome拡張機能"Web Scraper"

Chrome拡張である"Web Scraper"。下記の2点がメリットとのこと。

  • Chrome拡張であるゆえの気軽さ
  • 何回使おうが、どれだけスクレイピングしようが「完全無料」

データの出力ファイルフォーマットがCSVのみということは注意。

また、複雑なことはあまり出来ないようです。

Chrome拡張のWeb Scraperはなかなか評判が高い

Chrome拡張のWeb ScraperはYouTube動画に説明あり

4: Octoparse

Octoparseの評判

iPaaSツールであるIntegromatを噛ませることで、下記の自動化フローを組んだ方がいらっしゃいました。

Octoparseでスクレイピング→Airtableにデータ保存→parabola経由でDeepLで一括日本語化

ただし海外発のサービスであるということもあり、サポートは微妙らしいです。

Octoparseの特徴

  • 日本語チュートリアルもあり、UIも非常に直感的でわかりやすい
  • 自動スケジュール実行は有料版のみ
  • 画像保存機能はなし
  • テンプレートが優秀。たとえば
    • Amazon
    • eBay
    • Instagram
    • Twitter
    • Facebook
    • YouTube
    • Indeed
    • リクナビNEXT
    • 楽天
    • Yahooショッピング
    • ヤフオク
    • Googleマップ
    • メルカリ
    • 価格.com
    • Airbnb
    • PRtimes
    • 食べログ
    • SUUMO
    • Bigo Live
    • Yahoo Finance

などのサービスに対して、すでに設定済のテンプレートレシピがある。 (ただしテンプレートは有料プランのみ)

とにかく「視覚的にわかりやすい」というのが特徴。レビューの評価もその点は評価が高かったです。(5点中2.8点程度)

Macの場合、インストール時にセキュリティ解除が必要。

Octoparseを利用してヒートマップ視覚化ダッシュボードを作成された例

タピオカが大好きなので、東京におけるタピオカ店の分布と人気店舗が一目でわかるダッシュボード「タピオカマップ」を作ってみました。 手順は ①Octoparseで【Rettyグルメ】から東京のタピオカ店のデータ情報を抽出する ②Excelでデータを加工する ③FineReportでダッシュボードを作成する

1行もコードを書かずにTwitterからスクレイピング、Google Spread Sheetにデータを抽出・保存

Octoparse公式によるYouTube説明動画です。GUIのみでスクレイピングし、Google Spread Sheetにデータを抽出・保存させています。

5: scrapinghub/portia

scrapinghub/portiaの特徴

" portiaを自前のサーバに入れて使う場合は、scrapinghubの料金を支払う必要もなく、制約もありません。

  • ほぼ無料で、高機能のビジュアルスクレイピングツールを利用できる
  • 環境設定が面倒
  • 細かい設定にはプラグインを導入したり、カスタマイズする必要がありそう

scrapinghub/portiaの注意点

  • 無料版だとレシピ(API設定)の保存ができない。
  • 無料版では、月に660ページの取得制限がある

No-Codeツールである「Bubble」と連携ができるよう。

6: データ特化iPaaSツール: Blockspringの紹介

厳密にはスクレイピングでは無いのですが、Twitterやその他のアプリからデータを収集し、Google Spread Sheetに落とし込むことができます。

現在は

  • Lists
  • Reports
  • Pages という3つの異なる機能。このうちのReportsが、もともとのBlockspringが提供していた各種サービスからデータを吸い取って、SpreadSheet上に吐き出すというサービス。

Reports機能についての記事 まだAPIで消耗してるの? サクッとデータが欲しいなら「Blockspring」を使おう! – GUNMA GIS GEEK ↑は昔の記事。現在は画面仕様など異なります。

非常に便利なのですが、$29/月となりコストがかかるので、有料でも大丈夫という方は試してみて下さい。

7: ノーコードでスクレイピングを含むワークフローを自動化。Automatio(現在はEarly Access募集のみ)

Automatioはスクレイピングを含む自動化のためのワークフローをGUIで操作できる自動化ワークフロー設定ツール。

Chrome拡張機能(エクステンション)も用意があったりと、かなり便利にノーコードで自動化の開発ができそうです。

2021/08/11現在はまだEarly Accessを募っている段階です。興味がある方はぜひ試してみてください。

おまけ: Google Spread Sheetでスクレイピングする方法も

私も実装したことがあるのですが、HTMLの一部の知識さえあれば簡単に実現できました。

ノーコード手法ではないのですが、ツールやサービスの制限なくスクレイピングを行いたいという方にはおすすめの方法です。数時間程度の学習は必要ですが、ある程度柔軟にスクレイピングが可能です。

-- 基本的にはスクレイピング関連は上記で解決できそうです。下記はご参考まで。---

汎用iPaasサービス3選

iPaaSとは、対応しているアプリ同士をつなげるサービスです。(アプリ同士のAPI接続を自動でしてくれる。)ある程度まで無料で利用可能。

IFTTT

IFTTT もっとも直感的な操作ができます。iPaaSの走りでしたが、現在ではややレガシーでしょうか。

トリガー制限の上限が厳しいです。

Zapier

Zapier IFTTTより対応アプリが多いです。バランスがよく、設定も非常に簡単にできます。 トリガー上限の制限がやや厳しく、レシピによっては無料枠では難しそう。

Integromat

Integromat より高度な連携ができます。無料枠が最も多く、月間1,000回までの呼び出しに無料で対応。

Qiita RSS + iPaasの例

以上です。上記ツール群も、広い意味ではNo-Codeツールに分類されますので、これらの活用方法を考えるのも面白そうですね。 お役に立てましたら幸いです。