スクレイピングとは何かWeb スクレイパーボットは E コマースの収益をどのように低下させているか
E コマース組織にとって、 ボット は庭にいる虫のようなものです。有益な虫もいれば、破壊的な害虫もいます。ボットは、トラフィックをサイトに誘導したり、トラフィックを独自の偽サイトにリダイレクトしたり、 Credential Stuffingを行う攻撃者の間で大々的に用いられています。
最近、ある特定の種類のボットが E コマース組織の注目を集めています。 それは、Web スクレイパーボットです。この種のボットは検出を逃れる能力があり、被害者の最終的な収益を密かにかすめ取ること（スクレイピング）ができます。
スクレイパーボットとは
その名前が示すとおり、このボットは Web サイトをクロールし、一般公開されているすべてのデータとコンテンツ（画像、製品詳細、価格情報、在庫状況情報など）をスクレイプします。
収集されたコンテンツはさまざまな方法で活用できます。たとえば、製品の価格、割引、在庫、製品 SKU 番号、カテゴリー、説明などの競合分析に使用することが可能です。また、正当なサイトが フィッシング や、ブランドになりすましたキャンペーンの一部として複製され、競争に巻き込まれる安値を付ける可能性もあります。
脅威の低い ウェブスクレイパー であっても、GET 要求でサイトをフラッディングすることで、Web サイトのパフォーマンスを低下させ、コンピューティングとサーバーのコストを増加させることができます。スクレイパーボットの目的に関わらず、収益の減少、IT コストの増加、顧客体験の低下が起きる可能性があり、競争上不利な状況に陥るおそれがあります。
この現象と、E コマース組織が自社を守るためにできることについて、最新のインターネットの現状（SOTI）レポート「 削ぎ落とされる収益：Web スクレイパーが E コマースに与える影響」で検討しました。
ヘッドレスブラウザー：検知から逃れようとする脅威
Web スクレイパーボットが他の脅威と異なり非常に厄介なのは、実際の経済的影響が見えないところに隠れていることが少なくないという点です。この種類の悪性ボットを検出することが難しい理由の 1 つに、ヘッドレスブラウザー（主にテストやスクレイピングに使用される、グラフィカル・ユーザー・インターフェースを持たないブラウザー）の使用があります。これが、検知から逃れる能力を非常に高くしているのです。
取引に影響を与える主なユースケース
当社の調査では、次のようなさまざまな不正行為を実行するために Web スクレイパーボットが使用されている例を特定しました。
偽造サイトの作成
在庫の買い占め
情報の収集
偽造サイトの作成
スクレイパーボットの主要ターゲットの 1 つがホテル業界です。ボットがコンテンツを取得して偽の予約サイトを立ち上げ、クレジットカード番号やその他の個人を特定できる情報を盗み取ります。
在庫の買い占め
別のユースケースは在庫の買い占めです。この例では、不正流通業者がターゲットサイトに繰り返し ping を送り、商品が入手できるようになったことを確認します。その後、業者は商品をショッピングカートに追加して、正規の顧客が商品を購入できなくさせます。この攻撃は多くの場合、オンラインショッピングが活発になり、小額の取引でも重要になるホリデーシーズンに実行されます。
また、この手法は検索にも影響を与える可能性があります。不正業者に荒らされたサイトでは商品が「在庫切れ」になり、検索結果に他の小売企業が表示されるためです。これは、売り手の収益を奪い、検索ランキングを下げるだけでなく、正当な顧客の行動を妨げることで、その顧客が今後他の場所で購入するようになる可能性もあります。
情報の収集
Web スクレイパーボットは、価格設定や特典のデータなど、競合他社の情報を収集するためにも使用されます。この情報を利用することで、小売企業は競合他社よりも安く商品を売ることができます。この情報収集を容易にするために、サードパーティ製のさまざまな Web スクレイピングツールやサービスが登場しています。
この話題に特化したカンファレンスもあるほどです。たとえば、 ScrapeCon は、 アンチボット緩和テクノロジーを回避するためのベストプラクティスとテクニックを参加者が共有するために開催されます。公開コンテンツの Web スクレイピングは本質的に違法ではありませんが、その多くはサードパーティのツールを使用し、後に悪意ある行為につながります。
AI がスクレイピングの危険性を高める
他のタイプの脅威と同様に、人工知能（AI）を活用したスクレイパーボットは、ボットを阻止しようとしている組織のリスクを高めます。AI ボットはデータを収集するだけでなく、そのデータを抽出して処理します。
この性能により、ボットは重要な情報を効率的に認識できるようになるため、価格、割引、在庫、製品 SKU 番号、カテゴリー、説明に関する情報の有利な部分だけを選択するプロセスが合理化されます。選び出した情報を使用すれば、競合他社の情報やスキャルピングキャンペーンを強化することが可能になります。
特殊検出の価値
Web スクレイピングのことを懸念している E コマース組織に朗報があります。 ボット管理ソリューションは、 スクレイパーボットの検出と停止を目的としており、リスクの高いボットトラフィックを大幅に減らし、ビジネス成果を向上させることがわかっています。
先日、Akamai の研究者が E コマース企業の 1 週間のトラフィックを調査しました。69 億件のリクエストを分析し、その識別と特徴を特定しています（図 1）。その調査結果をご紹介します。
49.3% は人間のユーザーからのリクエスト
42.1% はボットからのリクエスト（8.7% は混合または未分類）
ボットトラフィックの 65.3% は悪性ボットに分類されるスクレイパーによるもの
ボットトラフィックの 34.7% は良性ボットに分類されるスクレイパーによるもの
Fig. 1: Traffic activity classification breakdown
悪性ボットを緩和する
良性と悪性のボットトラフィックを区別することで、標的型緩和を実現しました。アクティベートすると、 Akamai Content Protector による緩和が行われ、その結果、高リスクのボットリクエストが大幅に減少し、悪性の活動が大幅に低下しました（図 2）。
Fig. 2: Risk levels before and after mitigation with Akamai Content Protector
ビジネス成果を向上する
Web スクレイパーの緩和により、悪性の活動によるリスクが低下し、Web サイトのリソースを消費していたトラフィックも大幅に減少しました。高リスクのトラフィックが減少したことで、サイトパフォーマンスの改善、コンバージョン率の増加、サイト指標の精度上昇、IT コストの削減など、さまざまなビジネス成果が向上します。また、有益なトラフィックに関する正確な指標を設定することで、企業はより適切な投資判断を下して、収益の成長を促進できます。
Web スクレイパーボットの流れを止める
ボットネットの運用者はクレバーで、その戦術は絶えず進歩しています。 悪性 Web スクレイパーボットの検出と緩和 には、ボット自体と同じくらい高度なツールと専門知識が求められます。こうした能力を備えたパートナーと協力することは、悪性 Web スクレイパーボットの波を止めるうえで非常に大きな価値があります。
ボットの状況は絶えず進化しており、E コマース組織に新たなセキュリティ上の課題を投げかけています。Web スクレイピングの脅威を理解することは、不正行為による損失から会社を守り、E コマース事業の健全性と生産性を確保して、害虫のいない環境を作るための重要な第一歩です。
詳細を見る
この調査の全文をご覧ください。最新のインターネットの現状（SOTI）レポート「 削ぎ落とされる収益：Web スクレイパーが E コマースに与える影響」をダウンロードしてください。