Los motores de búsqueda como Google y Yahoo, utilizan arañas para recoger la información de las páginas web que hay publicadas en Internet. Una vez  tienen la información, la procesan para poder ordenar rápidamente los resultados de búsqueda, en función de un algoritmo determinado, cuando un usuario acude a sus respectivas páginas web e inquiere algún término o alguna frase.

 Las arañas de los buscadores visitan periódicamente las páginas web que están publicadas en Internet y actualizan automáticamente la información acerca de su contenido.

Hasta ahora, las arañas entraban en el directorio raíz de un dominio, buscaban el fichero robots.txt para asegurarse de que el site deseaba ser indexado y luego procedían a visitar todos los enlaces que encontraban en la página web, registrando así todo el contenido de la página.

Google nos propone la creación de un sitemap en XML siguiendo unas especificaciones determinadas que darán toda la información a sus arañas y que les permitirá el acceso a urls que hasta ahora podían haber estado escondidas por diversos motivos ajenos a la voluntad de los webmasters.

Google desea poder acceder a todo el contenido de las páginas web de la forma más fácil y eficiente. Tal como ahora está planteada la indexación de páginas, aun siendo mucho más eficiente que los índices humanos que teníamos antaño (quien no recuerda haber ido a un buscador, haber insertado a mano la definición de nuestro site, las palabras clave por las que deseábamos ser encontrados y la URL del site... pero esto es ya prehistoria internáutica), lo que Google nos plantea ahora es muchísimo mejor.

Todo consiste en poner a la disposición de las arañas un sitemap especial.

Este sitema es puesto por nuestra empresa en cada página e nuestros usuarios, de modo que aseguramos que cada vez que alguien registra un página con nosotros cuente con la debida indexación en el buscador mas popular.