Cómo funciona la Web

Capítulo 5 Manejo de grandes volúmenes de información utilizando Clusters de computadores Mauricio Marín Se estima que la cantidad de texto almacenado en los distintos sitios Web del mundo es del orden de centenas de Terabytes, y la cantidad de in ­ formación disponible crece día tras día. En este escenario es evidente que almacenar y procesar toda esa información utilizando un sólo computador es prácticamente imposible. Lo que hacen los buscadores actuales es utilizar muchos computadores para resolver los distintos pasos involucrados en la producción de una respuesta a una consulta de usuario [1]. A este conjunto de computadores se les llama cluster . Un cluster está compuesto de un conjunto de computadores interconec ­ tados mediante una red que les permite enviarse mensajes entre ellos (ver figura 5.1). Estos mensajes se utilizan para recolectar la información necesa ­ ria para resolver una determinada tarea como por ejemplo la solución a una consulta de un usuario. En el cluster cada computador tiene su propia me ­ moria RAM y disco para almacenar información. Cada computador puede leer y escribir información en su propia memoria y si necesita información 63