스크레이퍼와 스캘퍼를 차단하는 Akamai Content Protector

코로나19 팬데믹 이전까지 스크레이퍼 봇은 일반적으로 정교하지 않고 비교적 쉽게 탐지할 수 있는 것으로 여겨졌습니다. 하지만 2020년부터는 다음과 같은 여러 요인으로 인해 공격자의 수익 창출 잠재력이 증가했습니다:

• 기본 식료품과 분유부터 주방용품과 자동차까지 모든 물품의 공급망 충격 및 부족 현상

• 팬데믹 초기의 백신(및 백신 접종 예약) 품귀 현상

• 모두가 다시 여행을 시작하면서 항공권 및 호텔 예약의 인기 회복

• 여가에 굶주린 이들이 다시 활발하게 외출하려 하면서 콘서트 티켓과 같이 전통적으로 인기 있는 상품에 대한 욕구 증가

이러한 수익 창출 기회는 봇 운영자에게 혁신의 동기를 부여하고 있습니다. 여러 공격자가 고도로 연구된 표적에 대해 많은 자금을 들여 공격을 감행하기 위해 고안한 고유한 회피 기법을 사용함으로써 스크레이퍼는 더욱 전문화되고 정교해졌습니다.

또한 이 종류의 봇에 고유한 기술을 사용하기 때문에 이런 고유한 기술을 찾는 데 전문화된 탐지 기법이 필요합니다. 실제로 스크레이핑 공격은 대부분의 봇과 기타 기술(플러그인 등)을 조합해 공격 체인을 실행합니다.

스크레이핑 공격은 다음과 같이 기업에 많은 비용을 초래하는 문제를 일으킬 수 있습니다.

• 의사 결정의 오류로 인한 비용 증가. 기업이 봇 트래픽과 사람 트래픽을 구분하지 못하면 어떤 제품이 인기 있는지, 마케팅 결과를 어떻게 최적화할지에 대해 잘못된 결정을 내릴 수 있습니다.

• IT 비용 상승. 스크래퍼는 중지될 때까지 계속 실행되므로 원치 않는 봇 트래픽을 처리하는 과정에서 기업의 서버 및 전송 비용이 증가합니다. 

• 사이트 성능 저하. 사이트 및 앱 성능 저하로 인해 기업이 제공하는 사용자 경험이 저하됩니다.

• 판매 전환율 저하. 소비자는 느린 사이트를 기피합니다. 스크레이퍼로 인해 사이트 성능이 저하되면 소비자가 다른 곳에서 쇼핑할 것입니다. 쇼핑 이탈과 사이트 재방문 감소는 트랜잭션 사이트의 전환율 감소와 매출 감소를 의미합니다.

• 경쟁사의 정보 수집·스파이 활동. 경쟁사는 기업의 사이트에서 정보를 스크레이핑해 가격을 낮추고 자체 오퍼를 변경하는 등 고객을 확보하기 위해 끊임없는 경쟁을 벌입니다. 

• 재고 비축·스캘핑 감시. 스크레이퍼(이 경우에는 스캘퍼라고도 함)는 재고 사재기 공격 체인의 첫 번째 단계입니다. 스캘퍼는 대상 사이트를 지속적으로 핑해 사용 가능한 제품을 찾은 다음 장바구니에 추가해, 실제 고객이 해당 제품을 이용할 수 없게 만듭니다. 

• 원래의 기업 또는 제품인 것처럼 가장하는 사칭 공격. 위조업체들은 스크레이핑한 콘텐츠를 이용해 가짜 사이트 와 제품 카탈로그를 만들어, 사용자가 위조품이 아닌 정상적인 제품을 구매한다고 생각하도록 속입니다. 

• 미디어 기업의 시청자 및 ‘시선’ 강탈. 공격자는 콘텐츠를 스크레이핑해 자신의 사이트에 게시함으로써 정상적인 기업의 방문자와 잠재적인 광고 매출에 손실을 일으킬 수 있습니다.

Akamai는 기업의 비즈니스 성공에 필요한 유익한 스크레이퍼는 차단하지 않으면서 유해한 스크레이퍼를 차단하기 위해 개발된 솔루션 Content Protector를 출시합니다. Content Protector에는 해로운 스크레이핑 공격을 식별하기 위해 특별히 맞춤화된 탐지 기능이 포함되어 있습니다.

Content Protector의 맞춤형 기능은 다음과 같습니다.

• 탐지

• 리스크 분류

• 대응 전략

탐지 기능에는 클라이언트 측과 서버 측 모두에서 수집된 데이터를 평가하는 머신 러닝 기반 탐지 방법 세트가 포함되어 있습니다.

• 프로토콜 수준 평가. 프로토콜 핑거프린팅은 클라이언트가 여러 레이어에서 서버와 연결을 설정하는 방법을 평가하고, 협상된 매개변수가 가장 일반적인 웹 브라우저 및 모바일 애플리케이션에서 예상되는 매개변수와 일치하는지 확인합니다.

• 애플리케이션 수준 평가. 클라이언트가 자바스크립트로 작성된 일부 비즈니스 로직을 실행할 수 있는지 평가합니다. 클라이언트가 자바스크립트를 실행하면 Content Protector가 디바이스 및 브라우저의 특성과 사용자 기본 설정(핑거프린트)을 수집합니다. 이러한 다양한 데이터 포인트를 프로토콜 수준 데이터와 비교하고 교차 점검해 일관성을 확인합니다.

• 사용자 상호 작용. 지표는 터치스크린, 키보드, 마우스 같은 표준 주변기기를 통해 클라이언트와 인간의 상호작용을 평가합니다. 상호 작용이 부족하거나 비정상적일 경우 일반적으로 봇 트래픽과 관련이 있습니다.

• 사용자 행동. 이 기능은 웹사이트를 통한 사용자 여정을 분석합니다. 봇넷은 일반적으로 특정 콘텐츠를 노리기 때문에 정상적인 트래픽과는 상당히 다른 행동을 보입니다.

• 헤드리스 브라우저 탐지. 클라이언트 측에서 실행되는 자바스크립트로, 스텔스 모드에서 실행 중일 때도 헤드리스 브라우저에 의해 남겨진 지표를 찾습니다.

Content Protector는 평가 중에 발견된 비정상을 기반으로 트래픽을 결정적이고 실행 가능한 형태로 분류(저리스크, 중리스크 또는 고리스크)합니다. 고리스크로 분류되는 트래픽은 오탐률이 낮아야 합니다.