Índice:
Definição - O que significa Spider?
No contexto da Internet, uma aranha é um software especializado projetado para rastrear e navegar sistematicamente na World Wide Web geralmente com o objetivo de indexar páginas da Web, a fim de fornecê-las como resultados de pesquisa para consultas de pesquisa de usuários. A mais famosa dessas aranhas é o Googlebot, o principal rastreador do Google, que ajuda a garantir que resultados relevantes sejam retornados para consultas de pesquisa.
As aranhas também são conhecidas como rastreadores da Web, robôs de pesquisa ou simplesmente robôs.
Techopedia explica Spider
Uma aranha é essencialmente um programa usado para coletar informações da Internet. Ele rastreia pelas páginas dos sites, extraindo informações e indexando-as para uso posterior, geralmente para resultados de mecanismos de pesquisa. A aranha visita sites e suas páginas através dos vários links para e a partir das páginas; portanto, uma página sem um único link será difícil de indexar e pode ser classificada muito baixa na página de resultados de pesquisa. E se houver muitos links apontando para uma página, isso significa que a página é popular e aparecerá mais nos resultados da pesquisa.
Etapas envolvidas no rastreamento da Web:
- A aranha encontra um site e começa a rastrear suas páginas.
- A aranha indexa as palavras e o conteúdo do site.
- A aranha visita os links encontrados no site.
Aranhas ou webcrawlers são apenas programas e, como tal, seguem regras sistemáticas definidas pelos programadores. Os proprietários de sites também podem entrar nisso, informando à spider quais partes do site indexar e quais não devem. Isso é feito criando um arquivo "robots.txt" que contém instruções para o spider sobre quais partes indexar e quais links seguir e quais deve ser ignorado. As aranhas mais significativas por aí são aquelas pertencentes a importantes mecanismos de pesquisa como Google, Bing e Yahoo, e aquelas destinadas à mineração e pesquisa de dados, mas também existem algumas aranhas maliciosas criadas para localizar e coletar e-mails para o usuário vender para empresas ou para encontrar vulnerabilidades na segurança da Web.
