Yahoo ayuda a IIT Bombay configura Hadoop Cluster Lab

Yahoo ayudó al Instituto Indio de Tecnología de Bombay a establecer un laboratorio de clusters Hadoop en Mumbai donando un clúster de servidores que ejecutan el software de código abierto Hadoop.

Apache Hadoop es un proyecto de código abierto de computación distribuida del Apache Software Foundation que Yahoo admite.

Yahoo ejecuta una gran cantidad de sus operaciones críticas utilizando Hadoop, y no puede hacer toda la investigación necesaria en torno a Hadoop dentro de la empresa, dijo Prabhakar Raghavan, vicepresidente senior y director de Laboratorios Yahoo, en una entrevista telefónica el jueves.

Yahoo anunció en junio del año pasado su propia distribución de Hadoop, citando el interés de la comunidad Apache Hadoop de publicar la versión de Hadoop que prueba y despliega en sus propios grandes grupos.

El clúster laboratorio en M umbai ayudará a los investigadores en las áreas de estudio del instituto, como las técnicas de búsqueda y clasificación, la extracción de información y el procesamiento del lenguaje natural.

Los investigadores académicos que desean investigar problemas relacionados con la Web no suelen tener acceso a los recursos informáticos y terabytes de datos que se requieren para investigar los "problemas de escala Web", dijo Raghavan.

Comenzando por proporcionar investigadores de Hadoop en la Universidad Carnegie Mellon con una supercomputadora de 4.000 procesadores en 2007, Yahoo ha ayudado a otras universidades de EE. UU. a establecer Hadoop clústers, dijo.

Raghavan no dio más detalles sobre el clúster instalado en el IIT, solo dijo que los servidores con cientos de CPU y capacidad para manejar terabytes de datos se han desplegado allí.

Además de IIT Bombay, Yahoo está ayudando a establecer grupos similares en instituciones académicas en Alemania y Singapur, dijo Raghavan. Estas son las tres primeras instituciones académicas fuera de los EE. UU. En las que Yahoo está ayudando a establecer tales clusters, agregó.

Yahoo planea luego redirigir algunos de los clusters de todo el mundo para crear una "mayor utilidad". Antes de eso, las capacidades de administración del sistema de Hadoop deben fortalecerse para evitar que un estudiante de una institución bloquee el trabajo en otra institución, dijo Raghavan.

Yahoo se asoció en 2008 con Computational Research Laboratories (CRL), un laboratorio dirigido por India Tata Group, para ofrecer instalaciones de supercomputación gratuitas a las instituciones académicas de la India que están investigando la informática a gran escala, especialmente en torno a Hadoop. Esa colaboración continúa, pero se centra en la supercomputación de alto rendimiento, dijo Raghavan.

La asociación con instituciones académicas en Hadoop ayuda a Yahoo a construir un grupo de ingenieros familiarizados con la plataforma Hadoop, según Raghavan. Algunos de ellos incluso han sido contratados por Yahoo, agregó.

Yahoo también se ha beneficiado de las ideas que surgieron de las instituciones académicas que investigan utilizando Hadoop, dijo Raghavan. Sin embargo, no dio ejemplos específicos de las ideas que se recogieron de esta colaboración con instituciones académicas.