Tem alguma coisa errada Como os bots web scrapers prejudicam os lucros do comércio eletrônico
Para as organizações de comércio eletrônico, os bots são como insetos em um jardim: alguns são benéficos, mas outros são pragas destrutivas. Os bots podem trazer tráfego para seu website, redirecionar o tráfego para seu próprio website falso ou implementar outros esquemas nefastos, como preenchimento de credencial.
Recentemente, um tipo específico de bot chamou a atenção das organizações de comércio eletrônico: os bots web scrapers. Sua capacidade de evitar a detecção permite que esses bots extraiam secretamente informações de suas vítimas.
O que é um bot web scraper?
Como o próprio nome sugere, esses bots se infiltram e extraem todos os dados e conteúdos acessíveis ao público, como imagens, detalhes de produtos, informações sobre preços e informações sobre disponibilidade de estoque de um website.
Esse conteúdo pode ser aproveitado de várias maneiras. Ele pode ser usado para análise da concorrência, por exemplo, incluindo preços de produtos, descontos, estoque e números de SKU, categorias e descrições de produtos. O website legítimo também pode ser duplicado como parte de uma campanha de phishing ou de apropriação de marca para reduzir os preços e levar os negócios para a concorrência.
Os web scrapers menos perigosos ainda podem diminuir o desempenho do website e aumentar os custos de computação e de servidor ao sobrecarregar o website com solicitações GET. Seja qual for a finalidade, os bots web scrapers podem reduzir a receita, aumentar os custos de TI e prejudicar a experiência do cliente, deixando você em desvantagem competitiva.
Exploramos esse fenômeno e o que as organizações de comércio eletrônico podem fazer para se proteger em um novo relatório State of the Internet (SOTI), Extraindo seus resultados: como os web scrapers impactam o comércio eletrônico.
Navegadores headless: uma ameaça evasiva
O que torna os bots web scrapers diferentes e tão preocupantes é que seus verdadeiros impactos econômicos geralmente ficam ocultos sob a superfície. Detectar esses tipos de bots mal-intencionados é difícil, em parte devido ao uso de navegadores headless (ou seja, navegadores que não têm uma interface de usuário gráfica, geralmente usados para testes, bem como para raspagem de websites). Isso os torna extremamente evasivos.
Principais casos de uso que afetam o comércio
Nossa pesquisa também identificou exemplos de bots web scrapers que são usados para praticar uma série de atividades indesejadas, incluindo:
criação de websites falsificados
acúmulo de inventário
coleta de informações de inteligência
Criação de websites falsificados
As empresas de hotelaria são o principal alvo dos bots web scrapers, que extraem conteúdo e criam websites de reserva falsos para roubar números de cartão de crédito e outras informações de identificação pessoal.
Acúmulo de inventário
Outro caso de uso é o acúmulo de inventário, no qual os cambistas acessam repetidamente os websites visados em busca de produtos. Em seguida, eles adicionam os produtos aos carrinhos de compras, o que os torna indisponíveis para os clientes legítimos, geralmente durante a época de festas de fim de ano, quando as compras online atingem o ápice e qualquer quantia importa.
Essa técnica também pode afetar a pesquisa, já que outros varejistas aparecem nos resultados porque o item está "fora de estoque" no website atacado. Isso não apenas rouba a receita do vendedor e prejudica sua classificação na pesquisa, mas também é um obstáculo para os clientes legítimos, que podem acabar decidindo comprar em outro lugar no futuro.
Coleta de informações de inteligência
Os bots web scrapers também são usados para coletar inteligência da concorrência, como dados de preços e ofertas especiais que permitem que um varejista diminua o preço de seu concorrente. Várias ferramentas e serviços de terceiros de web scraping surgiram para facilitar essa coleta de informações.
Há até mesmo conferências dedicadas, como a ScrapeCon , durante as quais os participantes compartilham práticas recomendadas e técnicas para burlar as tecnologias de mitigação antibots. Embora o web scraping de conteúdo público na Web não seja necessariamente ilegal, muitos usam ferramentas de terceiros para cometer atos mal-intencionados posteriormente.
A IA aumenta os riscos de extração
Assim como acontece com outros tipos de ameaças, os bots web scrapers alimentados por inteligência artificial (IA) aumentam os riscos para as organizações que estão tentando detê-los. Os bots de IA não apenas coletam dados, mas também extraem e processam esses dados.
Isso permite que o bot reconheça com eficiência as informações essenciais, o que agiliza o processo de coleta de informações sobre preços, descontos, estoque e números de SKU, categorias e descrições de produtos. Isso pode ser usado para aumentar a inteligência da concorrência ou campanhas de scalping.
O valor da detecção especializada
Há boas notícias para as organizações de comércio eletrônico que estão preocupadas com o web scraping. As soluções de gerenciamento de bots projetadas para detectar e interromper especificamente os bots web scrapers demonstraram reduzir significativamente o tráfego de bots de alto risco e melhorar os resultados dos negócios.
Recentemente, os pesquisadores da Akamai estudaram uma semana de tráfego de um conjunto de empresas de comércio eletrônico. Eles analisaram 6,9 bilhões de solicitações para identificá-los e caracterizá-los (Figura 1). Veja o que eles descobriram:
49,3% das solicitações eram de usuários humanos
42,1% eram de bots (8,7% eram mistos ou não classificados)
65,3% do tráfego de bots era de scrapers classificados como bots mal-intencionados
34,7% do tráfego de bots era de scrapers classificados como bots bem-intencionados
Fig. 1: Traffic activity classification breakdown
Mitigação de bots ruins
A diferenciação entre o tráfego de bots com boas e más intenções permitiu a mitigação direcionada. Uma vez ativada, a mitigação com o Akamai Content Protector resultou em uma redução drástica nas solicitações de bots de alto risco, diminuindo substancialmente a atividade mal-intencionada (Figura 2).
Fig. 2: Risk levels before and after mitigation with Akamai Content Protector
Melhoria de resultados comerciais
A mitigação de web scrapers resultou em um risco menor de atividade mal-intencionada e também reduziu significativamente o tráfego que estava consumindo recursos de websites. A redução do tráfego de alto risco leva a uma variedade de resultados comerciais aprimorados, como melhor desempenho do website, taxas de conversão maiores, métricas mais precisas do website e custos de TI reduzidos. Ter métricas precisas sobre o tráfego benéfico também permite que as empresas tomem decisões de investimento ainda melhores para impulsionar o crescimento da receita.
Como conter a onda de bots web scrapers
Os líderes de bots são inteligentes, e suas táticas estão em constante evolução. A detecção e a mitigação de bots web scrapers mal-intencionados exige ferramentas e conhecimentos tão sofisticados quanto os próprios bots. Trabalhar com um parceiro que tenha esses recursos pode ser inestimável para conter a onda de bots web scrapers mal-intencionados.
O cenário de bots está em constante evolução e apresenta novos desafios de segurança para as organizações de comércio eletrônico. Compreender a ameaça do web scraping é a primeira etapa fundamental para proteger sua empresa contra perdas por fraude e para garantir que seu negócio de comércio eletrônico mantenha-se íntegro, produtivo e livre de ameaças.
Saiba mais
Veja a história completa: baixe o novo relatório State of the Internet (SOTI), Extraindo seus resultados: como os web scrapers impactam o comércio eletrônico.