Precisa de computação em nuvem? Comece agora mesmo

Detenha scrapers e scalpers com o Akamai Content Protector

Christine Ferrusi Ross

escrito por

Christine Ross

February 06, 2024

Christine Ferrusi Ross

escrito por

Christine Ross

Christine Ross é gerente sênior de marketing de produtos na Akamai, onde lidera mensagens de entrada no mercado para o Bot Manager. Antes da Akamai, ela trabalhou com startups de blockchain e segurança em ajuste e posicionamento de produtos/mercados. Ela também passou muitos anos como analista do setor ajudando as organizações a comprar e gerenciar tecnologias e serviços emergentes.

Os bots scrapers podem causar uma série de problemas, incluindo sites mais lentos, taxas de conversão mais baixas, perdas competitivas e falsificadores que usam seu conteúdo para fazer com que seus produtos pareçam legítimos.

Boas-vindas à era dos web scrapers evasivos e à solução personalizada da Akamai para impedi-los: Akamai Account Protector.

No comércio eletrônico, os scrapers desempenham uma parte essencial e produtiva do ecossistema. Por exemplo, os bots de pesquisa podem buscar novos conteúdos que você deseja que apareçam nas pesquisas públicas, os bots de compras para o consumidor podem destacar seus produtos em sites de comparação, os bots podem coletar com eficiência as informações mais recentes sobre produtos para que seus parceiros compartilhem com os clientes deles e assim por diante.

Infelizmente, os bots scrapers também podem causar uma série de problemas, incluindo sites mais lentos, taxas de conversão mais baixas, perdas competitivas e falsificadores que usam seu conteúdo para fazer com que seus produtos pareçam legítimos. E os scrapers continuam a se tornar mais evasivos e sofisticados.

Aumento do potencial de lucro dos invasores

Antes da pandemia da COVID-19, os bots scraper eram geralmente considerados pouco sofisticados e relativamente fáceis de detectar. A partir de 2020, no entanto, o potencial de lucro para os invasores aumentou devido a vários fatores, incluindo:

  • Choques e escassez na cadeia de suprimentos, incluindo tudo, desde mantimentos básicos e fórmulas para bebês até eletrodomésticos e carros

  • A escassez de vacinas (e consultas de vacinas!) nos primeiros dias da pandemia

  • A popularidade das passagens aéreas e das reservas de hotel quando todos começaram a viajar novamente

  • O desejo ardente por itens tradicionalmente procurados, como ingressos para shows, à medida que populações ávidas por entretenimento desejavam sair novamente

O potencial de lucro impulsiona a motivação dos operadores de bots

Essas oportunidades de ganhar dinheiro estão motivando os operadores de bots a inovar. Os scrapers se tornaram mais especializados e sofisticados, usando evasões exclusivas projetadas por vários invasores que se combinaram para lançar ataques bem financiados em alvos altamente pesquisados.

Os scrapers também usam técnicas que são exclusivas dessa classe de bot, portanto, exigem detecções que procurem especificamente essas técnicas exclusivas. De fato, na maioria dos casos, os ataques com scrapers usam uma combinação de bots e outras técnicas (como plug-ins) para realizar a cadeia de ataque.

Quais são os efeitos prejudiciais dos ataques com scrapers?

Os ataques com scrapers podem resultar em muitos problemas dispendiosos para as organizações, incluindo:

  • Erros dispendiosos na tomada de decisões. Quando as empresas não conseguem diferenciar o tráfego de bots do tráfego humano, elas tomam decisões erradas sobre quais produtos são populares e como otimizar seus resultados de marketing.

  • Custos de TI mais altos. Os scrapers são executados continuamente até serem interrompidos, o que aumenta os custos de servidor e de entrega, pois as organizações atendem ao tráfego indesejado de bots. 

  • Degradação do desempenho do site. As organizações proporcionam uma experiência de usuário prejudicada devido ao desempenho mais lento do site e do aplicativo.

  • Menores taxas de conversão de vendas. Os consumidores não gostam de sites lentos. E quando os scrapers prejudicam o desempenho do site, esses consumidores compram em outro lugar. O abandono do carrinho e menos visitas de retorno ao site significam menos conversões e menos vendas para sites transacionais.

  • Inteligência competitiva/espionagem. Os concorrentes coletam informações do site de uma organização para reduzir os preços e fazer outras alterações em suas próprias ofertas, garantindo uma constante corrida armamentista para conquistar clientes. 

  • Vigilância contra o estoque exagerado/especulação. Os scrapers (às vezes chamados de scalpers, nesse caso) são a primeira etapa em uma cadeia de ataque de acúmulo de estoque. Os scalpers fazem ping em sites direcionados constantemente para encontrar produtos em alta disponíveis e, em seguida, adicioná-los a carrinhos, tornando esses produtos indisponíveis para clientes reais. 

  • Impositores que fingem ser a organização ou os produtos originais. Os falsificadores usam conteúdo extraído para criar sites e catálogos de produtos falsos para induzir os usuários a pensar que estão comprando produtos legítimos em vez de falsificações. 

  • Roubar audiências a atenção das empresas de mídia. Os invasores podem extrair conteúdo e colocá-lo em seus próprios sites, fazendo com que a organização legítima perca visitantes e possíveis receitas de publicidade.

Akamai Content Protector: uma solução especializada contra scrapers e scalpers

A Akamai está apresentando o Content Protector, uma solução desenvolvida para impedir scrapers prejudiciais sem bloquear os scrapers do bem, que as empresas precisam para obter sucesso em seus negócios. O Content Protector inclui detecções que são especificamente adaptadas para identificar ataques de raspagem prejudiciais.

Os recursos personalizados do Content Protector incluem:

  • Detecção

  • Classificação de risco

  • Estratégia de resposta

Detecção

A detecção inclui um conjunto de métodos de detecção baseados em machine learning que avalia os dados coletados tanto no lado do cliente quanto no lado do servidor:

  • Avaliação no nível do protocolo. A identificação específica de protocolo avalia como o cliente estabelece a conexão com o servidor nas diferentes camadas e verifica se os parâmetros negociados estão alinhados com os esperados dos navegadores da Web e aplicativos móveis mais comuns.

  • Avaliação no nível da aplicação. Essa avaliação verifica se o cliente pode executar alguma lógica comercial escrita em JavaScript. Quando o cliente executa JavaScript, o Content Protector coleta as características dos dispositivos e navegadores e as preferências dos usuários (impressão digital). Esses vários pontos de dados serão comparados e cruzados com os dados em nível de protocolo para verificar a consistência.

  • Interação do usuário. As métricas avaliam que um ser humano interage com o cliente por meio de periféricos padrão, como tela sensível ao toque, teclado e mouse. Uma falta de interação ou interação anormal geralmente está associada ao tráfego de bots.

  • Comportamento do usuário. Esse recurso analisa a jornada do usuário pelo site. Os botnets geralmente buscam conteúdo específico, o que resulta em um comportamento significativamente diferente do tráfego legítimo.

  • Detecção de dispositivos sem interface. Esse é um JavaScript personalizado que é executado no lado do cliente para procurar indicadores deixados pelos navegadores sem periféricos, mesmo quando executados em modo furtivo.

Classificação de risco

O Content Protector fornece uma classificação determinística e prática do tráfego (baixo risco, médio risco ou alto risco) com base nas anomalias encontradas durante a avaliação. O tráfego classificado como de alto risco deve ter uma baixa taxa de falsos positivos.

Estratégia de resposta

O produto compreende um conjunto de estratégias de resposta, incluindo a ação simples de monitorar e negar e técnicas mais avançadas, como um tarpit, que atrasa propositalmente as conexões de entrada, ou vários tipos de ações de desafio. Os desafios de criptografia geralmente são mais fáceis de usar do que os desafios CAPTCHA quando se tenta reduzir a taxa de falsos positivos.



Christine Ferrusi Ross

escrito por

Christine Ross

February 06, 2024

Christine Ferrusi Ross

escrito por

Christine Ross

Christine Ross é gerente sênior de marketing de produtos na Akamai, onde lidera mensagens de entrada no mercado para o Bot Manager. Antes da Akamai, ela trabalhou com startups de blockchain e segurança em ajuste e posicionamento de produtos/mercados. Ela também passou muitos anos como analista do setor ajudando as organizações a comprar e gerenciar tecnologias e serviços emergentes.