Un web Crawler, robot rastreador, araña o motor de búsqueda descarga e indexa
contenido de todo Internet. El objetivo de un robot de este tipo es aprender
de qué trata (casi) cada página web de la web, de modo que se pueda recuperar
la información cuando sea necesaria. Se los llama «rastreadores web» porque
«rastrear» (crawler) es el término técnico que se utiliza para acceder
automáticamente a un sitio web y obtener datos a través de un programa de
software.
