Componentes

Proveedores de bases de datos Agregar Google MapReduce

Excel. Power Query. Importar datos de una base de datos | 22/107 | UPV

Excel. Power Query. Importar datos de una base de datos | 22/107 | UPV
Anonim

Greenplum y Aster Data Systems, dos nuevas empresas involucradas en grandes análisis de datos, anunció esta semana que sus productos admitirán MapReduce, una técnica de programación desarrollada originalmente por Google para el procesamiento paralelo de grandes conjuntos de datos en hardware básico.

Los desarrolladores de software tienden a sentirse más cómodos con lenguajes como Java y C ++ que "La mayoría de los desarrolladores luchan contra los matices de hacer que una base de datos se adapte bien a sus instrucciones", dijo Mayank Bawa, cofundador y CEO de Aster, creador de un sistema de base de datos de clusters que divide cargas de trabajo en múltiples niveles discretos. escribió en una publicación de blog. "De hecho, un maestro de SQL debe realizar consultas interesantes para las transformaciones de datos (durante el procesamiento ETL o el proceso Extraer-Cargar-Transformar) o la minería de datos (durante el análisis)."

Ingrese MapReduce, cuyo objetivo era proporcionar una "marco trivialmente paralelizable para que incluso los desarrolladores novatos (alias internos) puedan escribir programas en una variedad de idiomas (Java / C / C ++ / Perl / Python) para analizar datos independientes de la escala", escribió Bawa.

Mientras tanto, Greenplum, creador de una base de datos que dice puede escalar a un petabyte de información, dijo esta semana que un marco MapReduce formará parte de su motor de flujo de datos a partir de septiembre.

Los anuncios gemelos dieron un asentimiento de aprobación de un observador cercano de la base de datos world.

"Por sí solo, MapReduce puede hacer un gran trabajo en la manipulación y análisis de datos. Integrarlo con SQL debería aumentar su aplicabilidad y poder", escribió Curt Monash de Monash Research, en el blog DBMS2.

"MapReduce no es necesario para tabú gran gestión de datos. Eso se ha paralelizado eficientemente de otras maneras ", agregó." Pero si quiere construir estructuras no tabulares como índices de texto o gráficos, MapReduce resulta ser de gran ayuda ".