Tipos de buscadores: robots y directorios
- Por Augusto Romano
- Publicado 06/13/2007
Augusto Romano
Presidente y fundador de comuniQue.
Su rol activo en la compañía abarca todas las áreas del negocio y sus operaciones.
Antes de la fundación de comuniQue en el año 2000, trabajó en el área comercial de varias empresas de telecomunicaciones internacionales, entre las que figuran; TRICOM, BellSouth y Sprint. 
Sigueme en Twitter @exssis
Actualmente en Internet, podemos distinguir 2 grandes tipos de buscadores: los directorios y los "robots" de búsqueda. En el presente artículo, trataremos de exponer sus características y diferencias principales. El servicio de posicionamiento porpuesto por comunique, sigue estos lineamientos
Características básicas de un directorio
En primer lugar y como principal característica, hay que destacar que los directorios utilizan personas, editores, para el análisis y selección de páginas que pasarán a formar parte de dicho directorio, según unas normas editoriales que garantizan la uniformidad de criterio y la calidad global del directorio. Así mismo, es responsabilidad de los editores garantizar que las páginas presentes en el directorio continúan cumpliendo con dichas normas editoriales.
Todo lo anterior deriva en unos tiempos de espera elevados para conseguir incluir nuestra página en este tipo de recursos. También es lógico pensar que la mayoría de nuevas incorporaciones provengan de solicitudes directas de los webmasters y no de un trabajo proactivo de los editores, ya que su tiempo queda ocupado casi en su totalidad por la revisión de nuevas solicitudes y la vigilancia interna del nivel de calidad mostrado por el directorio. Esto a su vez implica que las tasas de crecimiento de un directorio son siempre reducidas. Si a esto añadimos que por norma general un directorio nunca indexa más que la página de inicio de cada website, un directorio con un volumen de 100.000 o 200.000 websites revisados e indexados puede considerarse un directorio respetable.
Otra característica propia de los directorios es su sistema de clasificación de websites en categorías. Esto permite un doble nivel de búsqueda: búsqueda directa mediante el "cuadro de búsqueda" que todos los directorios incorporan, o una búsqueda mediante la navegación jerárquica por categorías. En el primer caso, la presentación de resultados y su orden estará basado en criterios de relevancia y afinidad de los websites con respecto al término de búsqueda empleado, mientras que en las categorías, los resultados suelen estar organizados por orden alfabético.
Por último, el proceso de alta en este tipo de recursos suele resultar tedioso aunque, dado que no hay garantías sobre la publicación de nuestro website, será conveniente hacerlo bien desde el principio, conociendo las normas editoriales publicadas por el directorio y comprobando que nuestro website cumple dichas normas, con lo cual nos evitaremos problemas posteriores. Generalmente, el proceso de altas suele incluir los siguientes pasos:
• Buscar y seleccionar la categoría más adecuada para nuestro website.
• Buscar el enlace o zona tipo "añade tu web" o "añade tu página".
• En esta zona se nos solicitarán algunos datos, entre otros:
• Titulo del website
• Descripción del contenido
• Palabras clave asociadas
• URL de nuestro website
• Nombre y apellidos de contacto
• E-mail de contacto
• Idioma de la página
• Origen de la página
Entre los ejemplos actuales de directorios tenemos: Ya.com, Telepolis o el directorio interno de Yahoo.es.
Características de los "robots de búsqueda"
Dentro de esta tipología se incluyen todos aquellos recursos de búsqueda que emplean "robots" o máquinas para recorrer e indexar automáticamente páginas a lo largo de la Red. Todas las páginas recorridas por los "robots" son sometidas a criterios de filtrado y análisis automático en un intento de eliminar aquellas cuyo objetivo sea la "manipulación" de los resultados del buscador. Así mismo, la presentación de resultados por parte de este tipo de buscadores está basado en la aplicación de algoritmos internos de medición de relevancia de las páginas incluidas con respecto a los términos de búsqueda empleados por los navegantes así como su importancia según criterios internos. Todo el proceso anterior no es automático. Generalmente se suelen disponer varias bases de datos con distintos niveles de actualización la cuales se van sustituyendo progresivamente evitando actualizaciones "masivas" de todos los datos indexados.
Otra característica de los buscadores basados en "robots" es la utilización de enlaces entre páginas para la obtención de nuevos recursos. De echo en los grandes buscadores generalmente no será necesario que demos de alta manualmente nuestra página ya que, por lo general, el "robot" encontrará nuestra página mediante un enlace y la indexará en su base de datos. De todas formas, si deseamos indexar manualmente nuestra página, el proceso a seguir será el siguiente:
• Buscar y acceder a la zona denominada "añade tu web" ó "add your url".
• Proporcionar la información requerida, generalmente, una dirección URL y una dirección de correo electrónico de control.
Los buscadores basados en "robots" no incorporan, a priori, un límite de páginas a indexar por website por lo que los niveles de crecimiento de este tipo de recursos son, en muchos casos, exponenciales, y los límites se encuentran únicamente en la capacidad de proceso y almacenamiento de sus sistemas informáticos de soporte.
A nivel de clasificación interna de websites, no existe una estructura jerarquizada visible como en el caso de los directorios, por lo que los algoritmos de clasificación de resultados frente a consultas de los navegantes son de gran importancia.
Finalmente, algunos ejemplos destacables de este tipo de recursos son Google, Alltheweb.com, Altavista o Inktomi.
Futuro de ambas opciones
En un primer momento y dada la escasez de recursos, la Red comenzó a organizarse mediante la creación de directorios. Con esta filosofía nacían directorios como Yahoo!. Sin embargo, el crecimiento exponencial del número de páginas disponibles, recursos de todo tipo, dominios... hizo que la labor editorial resultará prácticamente imposible y se desarrollaran herramientas que automatizaran la recopilación y ordenación de resultados. Nacían buscadores basados en "robots" como Infoseek o Altavista.
Hoy por hoy, a pesar de la existencia de herramientas de búsqueda cada vez más avanzadas, resulta difícil prever una desaparición a corto plazo de los directorios, debido al componente de alta calidad inherente a este tipo de recursos. Una recopilación de miles (a veces millones) de websites analizados y clasificados casi "manualmente" es una clara presentación de alta calidad. También dentro de los denominados recursos sectoriales de búsqueda, es habitual la existencia de directorios ya que en la mayoría de los casos, debido al volumen de información a clasificar, no se requieren herramientas más desarrolladas.
Desde el punto de vista de comunique, no debemos dudar que el futuro de la búsqueda en la Red pasa por el desarrollo de herramientas cada vez más avanzadas y potentes que sustituyan a los modelos actuales, aglutinando las ventajas de directorios y "robots". Será, además, responsabilidad de estas nuevas herramientas iluminar la denominada "Internet oculta", miles de páginas y recursos actualmente no disponibles en los buscadores debido a su limitado alcance frente al crecimiento de la Red.
Características básicas de un directorio
En primer lugar y como principal característica, hay que destacar que los directorios utilizan personas, editores, para el análisis y selección de páginas que pasarán a formar parte de dicho directorio, según unas normas editoriales que garantizan la uniformidad de criterio y la calidad global del directorio. Así mismo, es responsabilidad de los editores garantizar que las páginas presentes en el directorio continúan cumpliendo con dichas normas editoriales.
Todo lo anterior deriva en unos tiempos de espera elevados para conseguir incluir nuestra página en este tipo de recursos. También es lógico pensar que la mayoría de nuevas incorporaciones provengan de solicitudes directas de los webmasters y no de un trabajo proactivo de los editores, ya que su tiempo queda ocupado casi en su totalidad por la revisión de nuevas solicitudes y la vigilancia interna del nivel de calidad mostrado por el directorio. Esto a su vez implica que las tasas de crecimiento de un directorio son siempre reducidas. Si a esto añadimos que por norma general un directorio nunca indexa más que la página de inicio de cada website, un directorio con un volumen de 100.000 o 200.000 websites revisados e indexados puede considerarse un directorio respetable.
Otra característica propia de los directorios es su sistema de clasificación de websites en categorías. Esto permite un doble nivel de búsqueda: búsqueda directa mediante el "cuadro de búsqueda" que todos los directorios incorporan, o una búsqueda mediante la navegación jerárquica por categorías. En el primer caso, la presentación de resultados y su orden estará basado en criterios de relevancia y afinidad de los websites con respecto al término de búsqueda empleado, mientras que en las categorías, los resultados suelen estar organizados por orden alfabético.
Por último, el proceso de alta en este tipo de recursos suele resultar tedioso aunque, dado que no hay garantías sobre la publicación de nuestro website, será conveniente hacerlo bien desde el principio, conociendo las normas editoriales publicadas por el directorio y comprobando que nuestro website cumple dichas normas, con lo cual nos evitaremos problemas posteriores. Generalmente, el proceso de altas suele incluir los siguientes pasos:
• Buscar y seleccionar la categoría más adecuada para nuestro website.
• Buscar el enlace o zona tipo "añade tu web" o "añade tu página".
• En esta zona se nos solicitarán algunos datos, entre otros:
• Titulo del website
• Descripción del contenido
• Palabras clave asociadas
• URL de nuestro website
• Nombre y apellidos de contacto
• E-mail de contacto
• Idioma de la página
• Origen de la página
Entre los ejemplos actuales de directorios tenemos: Ya.com, Telepolis o el directorio interno de Yahoo.es.
Características de los "robots de búsqueda"
Dentro de esta tipología se incluyen todos aquellos recursos de búsqueda que emplean "robots" o máquinas para recorrer e indexar automáticamente páginas a lo largo de la Red. Todas las páginas recorridas por los "robots" son sometidas a criterios de filtrado y análisis automático en un intento de eliminar aquellas cuyo objetivo sea la "manipulación" de los resultados del buscador. Así mismo, la presentación de resultados por parte de este tipo de buscadores está basado en la aplicación de algoritmos internos de medición de relevancia de las páginas incluidas con respecto a los términos de búsqueda empleados por los navegantes así como su importancia según criterios internos. Todo el proceso anterior no es automático. Generalmente se suelen disponer varias bases de datos con distintos niveles de actualización la cuales se van sustituyendo progresivamente evitando actualizaciones "masivas" de todos los datos indexados.
Otra característica de los buscadores basados en "robots" es la utilización de enlaces entre páginas para la obtención de nuevos recursos. De echo en los grandes buscadores generalmente no será necesario que demos de alta manualmente nuestra página ya que, por lo general, el "robot" encontrará nuestra página mediante un enlace y la indexará en su base de datos. De todas formas, si deseamos indexar manualmente nuestra página, el proceso a seguir será el siguiente:
• Buscar y acceder a la zona denominada "añade tu web" ó "add your url".
• Proporcionar la información requerida, generalmente, una dirección URL y una dirección de correo electrónico de control.
Los buscadores basados en "robots" no incorporan, a priori, un límite de páginas a indexar por website por lo que los niveles de crecimiento de este tipo de recursos son, en muchos casos, exponenciales, y los límites se encuentran únicamente en la capacidad de proceso y almacenamiento de sus sistemas informáticos de soporte.
A nivel de clasificación interna de websites, no existe una estructura jerarquizada visible como en el caso de los directorios, por lo que los algoritmos de clasificación de resultados frente a consultas de los navegantes son de gran importancia.
Finalmente, algunos ejemplos destacables de este tipo de recursos son Google, Alltheweb.com, Altavista o Inktomi.
Futuro de ambas opciones
En un primer momento y dada la escasez de recursos, la Red comenzó a organizarse mediante la creación de directorios. Con esta filosofía nacían directorios como Yahoo!. Sin embargo, el crecimiento exponencial del número de páginas disponibles, recursos de todo tipo, dominios... hizo que la labor editorial resultará prácticamente imposible y se desarrollaran herramientas que automatizaran la recopilación y ordenación de resultados. Nacían buscadores basados en "robots" como Infoseek o Altavista.
Hoy por hoy, a pesar de la existencia de herramientas de búsqueda cada vez más avanzadas, resulta difícil prever una desaparición a corto plazo de los directorios, debido al componente de alta calidad inherente a este tipo de recursos. Una recopilación de miles (a veces millones) de websites analizados y clasificados casi "manualmente" es una clara presentación de alta calidad. También dentro de los denominados recursos sectoriales de búsqueda, es habitual la existencia de directorios ya que en la mayoría de los casos, debido al volumen de información a clasificar, no se requieren herramientas más desarrolladas.
Desde el punto de vista de comunique, no debemos dudar que el futuro de la búsqueda en la Red pasa por el desarrollo de herramientas cada vez más avanzadas y potentes que sustituyan a los modelos actuales, aglutinando las ventajas de directorios y "robots". Será, además, responsabilidad de estas nuevas herramientas iluminar la denominada "Internet oculta", miles de páginas y recursos actualmente no disponibles en los buscadores debido a su limitado alcance frente al crecimiento de la Red.