Web Superficial y Web Profunda

Cuando se desea hacer una búsqueda en internet es importante tener en cuenta que en los buscadores tradicionales solo se muestra una parte muy pequeña (que se calcula que corresponde a un 4%) de toda la información disponible en Internet.

Existe una web superficial y una web profunda.

Web Superficial

Comprende todos los sitios web cuya información puede ser indexada por los robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta en sus formularios de búsqueda.

Sus características son:
·        la información no está contenida en bases de datos
·        es de libre acceso para todos
·        no se requiere ningún tipo de registro para acceder a la información.
·        Generalmente está formada por páginas Web estáticas: páginas con una URL fija y accesibles desde otro enlace.

Web Profunda o Invisible

En inglés también se le conoce como Deepweb, Invisible Web, Deep Web, Dark Web o Hidden Web. Se trata de toda la información disponible en Internet que no se recupera consultando a los buscadores tradicionales.
Suele ser información almacenada y accesible mediante bases de datos. Los resultados se generan como respuesta a una pregunta directa mediante páginas dinámicas (ASP, PHP, etc.) es decir, páginas que no tienen una URL fija sino que son temporales y desaparecen una vez cerrada la consulta.

Sherman y Price clasifican la web profunda como:

Web Opaca:

Son archivos que suelen no estar incluidos en los índices de los buscadores por alguno de estos motivos:
·        la extensión de la indización ya que, a veces, no todas las páginas de un sitio son indexadas en los buscadores.
·        la frecuencia de la indexación: los buscadores no poseen la capacidad de indexar todas las páginas existentes; a diario se agregan y modifican muchas y la indexación no se realiza al ritmo que permita incluirlas a todas.
·        Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, suelen limitar el número de documentos que muestran (entre 200 y 1000).
·        URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por su relevancia: número de veces que aparecen referenciados en otros documentos o páginas web. Si un documento no tiene un link a él, desde otro documento, será imposible que sea encontrada pues no se encuentra indexado.

Web privada:

Son páginas Web excluidas deliberadamente por alguno de estos motivos:
·        están protegidas por contraseñas.
·        Contienen un archivo “robots.txt” para evitar ser indexadas.
·        Contienen un campo “noindex” para evitar que el buscador pueda indexar la parte correspondiente al cuerpo de la página.

Los dueños de la información que contienen los documentos de webs privadas, son los que deciden que ésta no se encuentre disponible, por lo que es difícil encontrar mecanismos legítimos para franquear esa barrera.

 

Web propietaria

Son páginas en las que uno tiene que registrarse para tener acceso al contenido, el registro puede ser gratuito o mediante un pago.

Web realmente invisible

Son páginas que no pueden ser indexadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, páginas que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.

Dato interesante tomado de Wikipedia:

En enero de 2005,según un estudio reciente que investigó distintos motores de búsqueda (Google,MSN,Yahooy Ask Jeeves) se determinó que había 11.500 millones de páginas web en los índices de los buscadores.
En junio de 2008 los índices contenían más de 63.000 millones de páginas Web.