ノーコードのスクレイピングツール7選!無料で高機能なおすすめを紹介

Last Edited Time
Nov 4, 2021 10:39 AM
Category
No-Code | ノーコード
Not yet (Unpublish)
Podcast
Super Published

ノーコードでスクレイピングができる、「ビジュアルスクレイピングツール」について7つのサービスをまとめました。基本的には無料で利用することができるサービスを主としてまとめています。

image

1: シンプルでかんたん、そして高速な "Simplescraper"

Simple ScraperはかんたんにスクレイピングすることができるChrome拡張機能です。CSVやJSON形式でデータを取得することができます。

どのようにスクレイピングされるのかについてのイメージは動画から。

使い方については下記が詳しいです。

公式ドキュメントはこちら。

私も使ってみましたが、非常に直感的に利用できます。とにかくスピーディーに利用できるのが印象的。

なお、Simple Scraperではいくつかのプランが用意されており、無料のFreeプランでは執筆時点で5,000回のAPIコールができるようになっています。本格的に使用する場合は有料のPlus、Proプランが用意されています。

2: 無料で自動スケジュール実行も可能 " Import.io "

Web Data Integration - Import.io - Data Extraction, Web Data, Web Harvesting, Data Preparation, Data Integration https://www.import.io

現在、無料版は利用できなくなっているようです。

import.ioの機能

  • 無料(Community Eddition)で毎月1,000ページのスクレイピングが可能
  • スケジュール自動実行も可能
  • API, webhook接続可能
  • ページネーション対応
  • 画像保存可能

ページネーションと無限スクロールの設定方法 Advanced Pagination & Infinite Scroll – Import.io Help Center

Google Sheets : スプレッドシートにAPI経由でリアルタイムに取得データを同期させる方法(コピペでOK) Using Google Sheets IMPORTDATA with Import.io – Import.io Help Center

import.ioについての参考リンク

3: 無料でスクレイピングし放題! "Web Scraper"

Web Scraperはブラウザの開発者ツールを利用してスクレイピングを可能にするChrome, Firefoxのブラウザ拡張機能。

私はselect機能でリンクの選択ができなかったため、ChromeではなくFirefoxで試したら無事に選択されました。Chromeで他の拡張機能と競合してしまっていたのかもしれません。

Web Scraperのメリット

Chrome拡張である"Web Scraper"。下記の2点がメリットとのこと。

  • Chrome拡張であるゆえの気軽さ
  • 何回使おうが、どれだけスクレイピングしようが「完全無料」

現在ではCSV, XLSX, JSON形式に対応しています。

また、複雑なことはあまり出来ないようです。

クラウド機能(有料)を利用すれば、スケジューラを走らせることも可能なようです。

逆にいえば、スケジューラ等の機能を利用する予定がなければ、基本的には無料で無制限にスクレイピングすることが可能です。

また、個人的には上記に加えて、「公式ドキュメントや動画チュートリアルが充実していること」をメリットの1つに加えたいところ。

Twitter上でもChrome拡張"Web Scraper"はなかなか評判が高い

Web Scraperの使い方は大きく4ステップ

全体の流れとして、ダウンロード完了ページの流れ説明がわかりやすかったです。

  1. ブラウザ開発者ツールからWeb Scraperタブを開く
  2. スクレイピング用のサイトマップを作成する
  3. データセレクタ(スクレイピング対象とフロー)を作成する
  4. スクレイピング実行とデータのダウンロード

Chrome拡張のWeb ScraperはYouTube動画に説明あり

公式サイトにもチュートリアル動画一覧の掲載があります。

また、下記noteにも詳しくまとめてありました。

スクレイピング練習用の公式テストサイトは下記です。

4: 買い切り型のChrome拡張スクレイピングツール " Spider Pro "

Spider Proはシンプルにスクレイピングを行うことが出来るChrome拡張機能(有料プラグイン)です。

Product HuntのProduct of the Weekにも選出されています。

1度の買い切り価格、38ドルで購入することが可能。

5: ビジュアル操作で分かりやすい!デスクトップツール "Octoparse"

Octoparseの評判

iPaaSツールであるIntegromatを噛ませることで、下記の自動化フローを組んだ方がいらっしゃいました。

Octoparseでスクレイピング→Airtableにデータ保存→parabola経由でDeepLで一括日本語化

ただし海外発のサービスであるということもあり、サポートは微妙らしいです。

Octoparseの特徴

  • 日本語チュートリアルもあり、UIも非常に直感的でわかりやすい
  • 自動スケジュール実行は有料版のみ
  • 画像保存機能はなし
  • テンプレートが優秀。たとえば
    • Amazon
    • eBay
    • Instagram
    • Twitter
    • Facebook
    • YouTube
    • Indeed
    • リクナビNEXT
    • 楽天
    • Yahooショッピング
    • ヤフオク
    • Googleマップ
    • メルカリ
    • 価格.com
    • Airbnb
    • PRtimes
    • 食べログ
    • SUUMO
    • Bigo Live
    • Yahoo Finance

などのサービスに対して、すでに設定済のテンプレートレシピがある。 (ただしテンプレートは有料プランのみ)

とにかく「視覚的にわかりやすい」というのが特徴。レビューの評価もその点は評価が高かったです。(5点中2.8点程度)

Macの場合、インストール時にセキュリティ解除が必要。

Octoparseを利用してヒートマップ視覚化ダッシュボードを作成された例

タピオカが大好きなので、東京におけるタピオカ店の分布と人気店舗が一目でわかるダッシュボード「タピオカマップ」を作ってみました。 手順は ①Octoparseで【Rettyグルメ】から東京のタピオカ店のデータ情報を抽出する ②Excelでデータを加工する ③FineReportでダッシュボードを作成する

1行もコードを書かずにTwitterからスクレイピング、Google Spread Sheetにデータを抽出・保存

Octoparse公式によるYouTube説明動画です。GUIのみでスクレイピングし、Google Spread Sheetにデータを抽出・保存させています。

6: ほぼ無料で高機能なビジュアルスクレイピング。"scrapinghub/portia"

scrapinghub/portiaの特徴

" portiaを自前のサーバに入れて使う場合は、scrapinghubの料金を支払う必要もなく、制約もありません。

  • ほぼ無料で、高機能のビジュアルスクレイピングツールを利用できる
  • 環境設定が面倒
  • 細かい設定にはプラグインを導入したり、カスタマイズする必要がありそう

scrapinghub/portiaの注意点

  • 無料版だとレシピ(API設定)の保存ができない。
  • 無料版では、月に660ページの取得制限がある

No-Codeツールである「Bubble」と連携ができるよう。

7: ノーコードでスクレイピングを含むワークフローを自動化。Automatio(現在はEarly Access募集のみ)

Automatioはスクレイピングを含む自動化のためのワークフローをGUIで操作できる自動化ワークフロー設定ツール。

Chrome拡張機能(エクステンション)も用意があったりと、かなり便利にノーコードで自動化の開発ができそうです。

2021/08/11現在はまだEarly Accessを募っている段階です。興味がある方はぜひ試してみてください。

おまけ1: データ特化iPaaSツール: Blockspringの紹介

厳密にはスクレイピングでは無いのですが、Twitterやその他のアプリからデータを収集し、Google Spread Sheetに落とし込むことができます。

現在は

  • Lists
  • Reports
  • Pages という3つの異なる機能。このうちのReportsが、もともとのBlockspringが提供していた各種サービスからデータを吸い取って、SpreadSheet上に吐き出すというサービス。

Reports機能についての記事 まだAPIで消耗してるの? サクッとデータが欲しいなら「Blockspring」を使おう! – GUNMA GIS GEEK ↑は昔の記事。現在は画面仕様など異なります。

非常に便利なのですが、$29/月となりコストがかかるので、有料でも大丈夫という方は試してみて下さい。

おまけ2: Google Spread Sheetでスクレイピングする方法も

私も実装したことがあるのですが、HTMLの一部の知識さえあれば簡単に実現できました。

ノーコード手法ではないのですが、ツールやサービスの制限なくスクレイピングを行いたいという方にはおすすめの方法です。数時間程度の学習は必要ですが、ある程度柔軟にスクレイピングが可能です。