このページの本文へ

テンダ、大規模サイトの収集に対応したWebクローラー

2017年08月04日 19時00分更新

文●Web Professional編集部

  • この記事をはてなブックマークに追加
本文印刷

Webシステムの受託開発を手がけるテンダは、Webクローラーサービス「Crawl Krei(クロールクレイ)」を発売した。

Webクローラーは指定したWebサイトの最新データを自動的に収集するプログラムのこと。外部サイト向けに情報提供用のAPIやフィードが用意されていないサイトでも、HTMLの構造を解析して必要なデータを抽出・収集し、データベースに保管できる。

Crawl Kreiの特徴は、クロール対象のサイトやページ数に上限が無く、大規模なデータ収集に向いていること。また、データ収集の頻度や収集範囲のカスタマイズ、収集後の活用にも対応する。収集データは、CSVでダウンロードできるようにしたり、直接、社内システムに流し込んだり、用途に応じて柔軟に対応する。

すでに先行して、家電量販店が競合企業の価格情報を収集して自社の販売価格に反映したり、ファッションサイトが関連するニュースを収集してサイトに表示したり、といった実績があるという。

料金は、取得サイトが1つ、取得件数が10万件の場合で月額5万円から(初期費用別途)。

今後は取得サイトの構造を自動的に解析する機能を開発し、さらに短期間で導入できるようにしていく計画だという。

Web Professionalトップへ

WebProfessional 新着記事