스크레이핑 소리가 들리시나요? 웹 스크레이퍼 봇이 이커머스 수익성을 악화시키는 방법
스크레이퍼 봇이란 무엇일까요?
이름에서 알 수 있듯이 이러한 봇은 웹사이트에 크롤링해 이미지, 제품 세부 정보, 가격 정보, 재고 가용성 정보 등 공개적으로 접속할 수 있는 모든 데이터와 콘텐츠를 스크레이핑합니다.
이 콘텐츠는 다양한 방식으로 활용될 수 있습니다. 예를 들어 제품 가격, 할인, 재고, 제품 SKU 번호, 카테고리, 설명 등 경쟁 분석에 사용할 수 있습니다. 정상적인 사이트가 피싱 이나 브랜드 사칭 캠페인의 일부로 복제되어 가격이 악화되면 경쟁업체가 비즈니스를 빼앗을 수도 있습니다.
덜 위협적인 웹 스크레이퍼 도 웹사이트 성능을 저하시키고 GET 요청을 사이트에 넘쳐나게 하여 컴퓨팅 및 서버 비용을 증가시킬 수 있습니다. 스크래퍼 봇은 그 목적이 무엇이든 매출을 감소시키고, IT 비용을 증가시키고, 고객 경험을 약화시켜 경쟁에서 불리한 위치에 놓이게 할 수 있습니다.
새로운 SOTI(State of the Internet) 보고서 수익성을 떨어뜨리는 스크레이핑: 웹 스크레이퍼가 이커머스에 미치는 영향에서 이러한 현상과 이커머스 조직이 스스로를 보호하기 위해 무엇을 할 수 있는지 살펴보았습니다.
헤드리스 브라우저: 파악하기 어려운 위협
웹 스크레이퍼 봇이 다른 악성 봇과 다른 점이자 우려되는 점은 실제 경제적 영향이 표면 아래에 숨어 있는 경우가 많다는 점입니다. 이러한 종류의 악성 봇은 헤드리스 브라우저(그래픽 사용자 인터페이스가 없는 브라우저로 웹사이트를 테스트하고 스크레이핑하는 데 주로 사용됨)를 사용하기 때문에 탐지가 어렵습니다. 따라서 극도로 파악하기 어렵습니다.
커머스에 영향을 미치는 주요 사용 사례
Akamai는 리서치를 통해 다음과 같은 다양한 원치 않는 활동을 수행하는 데 사용되는 웹 스크레이퍼 봇의 사례도 확인했습니다.
위조 사이트 생성
재고 사재기
인텔리전스 수집
위조 사이트 생성
숙박업은 스크레이퍼 봇의 주요 표적으로, 콘텐츠를 수집하고 가짜 예약 사이트를 개설해 신용카드 번호와 기타 개인 식별 정보를 훔칩니다.
재고 사재기
또 다른 사용 사례는 재고 사재기로, 스캘퍼가 대상 사이트를 반복적으로 핑해 제품을 구매할 수 있는지 확인하는 것입니다. 그런 다음 해당 제품을 장바구니에 추가해 정상적인 고객이 구매할 수 없게 만드는데, 온라인 쇼핑이 급증하는 연말연시 시즌에 주로 사용됩니다.
이 수법은 검색에도 영향을 미칠 수 있는데, 스캘핑된 사이트에서 해당 상품이 '품절'로 표시되어 다른 리테일 기업의 상품이 검색 결과에 나타나기 때문입니다. 이는 판매자의 매출을 빼앗고 검색 순위를 떨어뜨릴 뿐만 아니라 향후 다른 곳에서 쇼핑하기로 결정할 수 있는 정상적인 고객의 구매를 방해합니다.
인텔리전스 수집
웹 스크래퍼 봇은 가격 및 특별 행사 데이터와 같은 경쟁 정보를 수집하는 데도 사용되어 리테일 기업이 경쟁업체를 약화시킬 수 있게 해줍니다. 이러한 정보 수집을 용이하게 하기 위해 다양한 써드파티 웹 스크레이핑 툴과 서비스가 등장했습니다.
또한 ScrapeCon 과 같은 전용 콘퍼런스에서 참석자들이 안티봇 방어 기술을 회피하는 모범 사례와 기술을 공유합니다. 공개 콘텐츠의 웹 스크레이핑이 본질적으로 불법은 아니지만, 많은 사람들이 나중에 악성 행위를 저지르기 위해 써드파티 툴을 사용합니다.
스크레이핑의 위험성을 높이는 AI
다른 종류의 위협과 마찬가지로 인공 지능(AI)을 기반으로 하는 스크래퍼 봇은 이를 막으려는 기업에게 큰 위협이 됩니다. AI 봇은 데이터를 수집할 뿐만 아니라 데이터를 추출하고 처리합니다.
이를 통해 봇은 필수 정보를 효율적으로 인식해 가격, 할인, 재고, 제품 SKU 번호, 카테고리, 설명에 대한 정보를 선별하는 프로세스를 간소화할 수 있습니다. 이는 경쟁 정보나 스캘핑 캠페인을 강화할 수 있습니다.
전문화된 탐지의 가치
웹 스크레이핑을 고민하는 이커머스 기업에게 희소식이 있습니다. 봇 관리 솔루션 은 스크레이퍼 봇을 특별히 탐지하고 차단하도록 설계되어 고리스크 봇 트래픽을 크게 줄이고 비즈니스 성과를 개선하는 것으로 나타났습니다.
최근 Akamai 연구원들은 한 이커머스 기업을 대상으로 일주일간의 트래픽을 연구했습니다. 연구원들은 69억 건의 요청을 분석해 봇을 식별하고 특성을 파악했습니다(그림 1). 그 결과는 다음과 같습니다.
49.3%의 요청이 사람 사용자로부터 발생
42.1%는 봇으로부터 발생(8.7%는 혼합 또는 분류되지 않음)
봇 트래픽의 65.3%는 악성 봇으로 분류된 스크레이퍼로부터 발생
봇 트래픽의 34.7%가 정상 봇으로 분류된 스크레이퍼로부터 발생
Fig. 1: Traffic activity classification breakdown
악성 봇 방어
정상 봇 트래픽과 악성 봇 트래픽을 구분하면 표적 방어가 가능해집니다. Akamai Content Protector 의 방어 기능을 활성화하면 고리스크 봇 요청이 크게 감소해 악성 활동이 크게 줄어듭니다(그림 2).
Fig. 2: Risk levels before and after mitigation with Akamai Content Protector
비즈니스 성과 개선
웹 스크레이퍼 방어 기능을 사용하면 악성 활동의 리스크가 낮아지고 웹사이트 리소스를 소모하는 트래픽도 크게 감소합니다. 고리스크 트래픽의 감소는 사이트 성능 향상, 전환율 증가, 사이트 지표의 정확성 향상, IT 비용 절감 등 다양한 비즈니스 성과 개선으로 이어집니다. 또한 유익한 트래픽에 대한 정확한 지표를 확보하면 기업은 더 나은 투자 결정을 내릴 수 있어 매출 성장을 촉진할 수 있습니다.
웹 스크레이퍼 봇의 기세 꺾기
봇 허더는 영리하며 그들의 기법은 끊임없이 발전하고 있습니다. 악성 웹 스크레이퍼 봇을 탐지하고 방어하려면 봇만큼이나 정교한 툴과 전문 지식이 필요합니다. 이러한 역량을 갖춘 파트너와 협력하면 악성 웹 스크레이퍼 봇의 기세를 꺾는 데 큰 도움이 될 수 있습니다.
봇 환경은 지속적으로 진화하고 있으며 이커머스 기업에게 새로운 보안 과제를 제기하고 있습니다. 웹 스크레이핑의 위협을 이해하는 것은 사기 피해로부터 비즈니스를 보호하고 이커머스 비즈니스를 건전하고 생산적이며 해충이 없는 상태로 유지하기 위한 중요한 첫걸음입니다.
자세히 알아보기
전체 내용 보기: 새로운 SOTI(State of the Internet) 보고서 수익성을 떨어뜨리는 스크레이핑: 웹 스크레이퍼가 이커머스에 미치는 영향을 다운로드하세요.