VIYV-SCRAPER

LLM が recipe を書く・実行する汎用スクレイピング基盤

URL を渡す。AI が取得レシピを書く。

画面を解析して recipe を自動生成し、実行して構造化データを Postgres に保存。Claude Code / Desktop / Codex からMCP で操作できます。

Mac アプリをダウンロード.dmg仕組みを見る
Recipe pipeline
scrape_run → rows
MCP · local
01URLtarget page
02analyzeAI が画面解析
03recipeajax / dom / inline
04Postgresstructured rows
freshness: fresh (DB lookup, 0 token)refresh 168h

手書きのスクレイパーを、AI が書く recipe に置き換える

セレクタの保守も、表示値の誤読も、コストの垂れ流しも。従来のスクレイピングの 痛点を、recipe・AJAX 優先・カタログ層・Freshness の 4 つで構造的に解きます。

AI が recipe を書く

画面解析からプラン生成まで自動

対象ページを解析し、SmBundle / DomPlan / AjaxPlan を自動生成。人手で XPath や CSS セレクタを書いて保守する作業から解放されます。生成された recipe は版管理され、再利用できます。

AJAX 優先で正確

API を直叩きしてハルシネーションを排除

ネットワークリクエストを観測して構造化 JSON エンドポイントを発見し、最優先で直接取得します。DOM の「計算済み表示値」を誤読する典型的なハルシネーションを構造的に防ぎます。

カタログ層

商品名・条件から取得対象を解決

「商品名と取得条件」から具体的な取得対象 URL と recipe を引く独立レイヤー。サイト導線のスナップショットと合わせ、カテゴリ単位の一括取得の起点になります。

Freshness / DB-first

取得済みなら 0 トークンで即応

full crawl 済みのデータは DB lookup で即時・ゼロコスト応答。価格変動の頻度に合わせて再取得間隔を設定でき、無駄なライブスクレイプを抑えます。

3 ステップで動き出す

Mac アプリが Postgres と MCP ヘルパーの面倒を見ます。あなたは AI クライアントに URL を渡すだけです。

01

Mac アプリをインストール

menubar アプリが Postgres (Docker) と MCP ヘルパーを監視・起動します。Bun ランタイムは同梱、ターゲット環境に node / bun は不要です。

02

AI クライアントに接続

Claude Code / Desktop / Codex CLI に MCP エントリをワンクリックで登録。接続は固定の loopback URL 経由で、DB 接続情報はクライアント設定に持ち込みません。

03

URL を渡すだけ

取得したい URL と意図を伝えると、AI が recipe を生成・実行し、結果を返します。データは同時にローカル Postgres へ構造化保存されます。

Claude Code
> この URL の価格表を取って: https://example.com/products/123
  → recipe を生成 (ajax plan, 2 LoopVariable)
  → scrape_run … 48 rows / saved to Postgres
  freshness: marked full_crawl · refresh 168h

使いどころ

多軸の価格表、カタログ収集、定期再取得。recipe 化すれば、対象が増えても コストは積み上がりません。

価格モニタリング

価格の定点観測

対象ページの価格を recipe 化して定期取得し、変動を時系列で記録。AJAX 直叩きで表示値の誤読を避け、正確な数値を構造化して保存します。

データ収集

商品カタログの収集

サイトの導線 (ナビ / footer 等) を辿ってカテゴリ配下の商品 URL を発見し、catalog_group として記録。member ごとに recipe を作り、一括で取得します。

運用オペレーション

在庫・掲載状況の追跡

active 化した recipe を定期実行し、価格・在庫・掲載状況の変化を追跡。Freshness 設定で再取得頻度を制御し、コストと鮮度のバランスを取ります。

料金

個人・評価利用は無料です。

個人 / 評価

無料/ ローカル完結
  • recipe の生成・実行・保存をすべてローカルで
  • Claude Code / Desktop / Codex への MCP 登録
  • Sparkle による自動アップデート
ダウンロード

FAQ

どんなサイト / データを取得できますか？+

静的 HTML、DOM 駆動の動的ページ、AJAX (構造化 JSON API) のいずれにも対応します。recipe-author が画面を解析して最適な実行戦略 (inline / dom / ajax) を選び、再利用可能な recipe として保存します。

どの AI クライアントから使えますか？+

MCP (Model Context Protocol) 対応の任意のクライアントから使えます。Mac アプリが Claude Code / Claude Desktop / Codex CLI への MCP 登録を代行します。HTTP MCP エンドポイントは固定の loopback URL で提供されます。

取得したデータはどこに保存されますか？+

あなたの Mac 上のローカル Postgres (Docker、pgvector 同梱) に構造化保存されます。クラウドへの自動送信はありません。接続先 DB はアプリの設定画面から変更でき、変更は各ヘルパーへ透過的に伝播します。

recipe のメンテナンスは必要ですか？+

サイト構造が変わって locator が解決位置を変える「drift」を検知し、rebind 候補を提示します。再生成は AI に任せられるため、従来の手書きスクレイパーのような継続的な保守コストを抑えられます。

viyv-browser は必要ですか？+

inline 実行 (semantic 定義) では viyv-browser MCP を利用しますが、dom / ajax 実行は viyv-scraper 単体で動作します。viyv-browser と組み合わせるとログイン済みセッションを使った取得も可能になります。

料金体系は？+

個人 / 評価利用は無料です。