Androide

Yahoo busca Hadoop Boost con lanzamiento de versión interna

The Passive Safety Features of the General Electric ESBWR

The Passive Safety Features of the General Electric ESBWR
Anonim

Para avanzar en la adopción de la tecnología Hadoop para el procesamiento de conjuntos de datos masivos, Yahoo lanzará una versión del software que ha perfeccionado para impulsar muchos de sus sitios y servicios clave.

El anuncio fue el miércoles en la segunda reunión anual de Hadoop. Summit, organizado por Yahoo y patrocinado por varios proveedores importantes que respaldan esta tecnología, incluidos IBM, Sun y Amazon.com.

Los motores de búsqueda, sistemas de anuncios y servicio de correo web de Yahoo usan Hadoop, una implementación de código abierto del modelo de programación MapReduce para procesar grandes conjuntos de datos en grupos de procesadores.

[Más información: los mejores servicios de transmisión de TV]

En Yahoo, Hadoop se ejecuta en más de 25,000 servidores para procesar datos en decenas de miles de millones de páginas web, decenas de mascotas abytes de almacenamiento y miles de millones de registros cada día.

Al lanzar el código fuente de su distribución Hadoop, Yahoo espera impulsar el desarrollo de este proyecto de la Apache Software Foundation.

Yahoo, que emplea al fundador de Hadoop Doug Cutting, contribuye con su Mejoras de Hadoop para el proyecto Apache, pero ahora está lanzando su implementación completa de Hadoop, que es la más grande del mundo y ha sido ampliamente probada y perfeccionada para su uso en sistemas de producción en vivo. El código de Yahoo viene sin restricciones sobre su uso comercial.

"Se ha expresado mucho interés en que, si lo hacemos disponible, sería útil para otros usuarios", dijo Shelton Shugar, vicepresidente senior de computación en la nube de Yahoo.

Yahoo está consolidando cada vez más las plataformas de procesamiento en los clústeres de Hadoop porque pueden escalar mejor y proporcionar el procesamiento de datos a gran escala que los sitios y servicios de la compañía requieren, dijo.

"Estamos muy contentos de cómo Hadoop es trabajando para nosotros. Es una plataforma fabulosa ", dijo Shugar.

Amazon.com lanzó recientemente un servicio alojado diseñado para simplificar para los desarrolladores el uso de Hadoop llamado Amazon Elastic MapReduce, mientras que empresas como Cloudera comercializan distribuciones Hadoop diseñadas para implementaciones empresariales.