Componenti

Fornitori di database Aggiungi MapReduce di Google

Introduction to Amazon Web Services by Leo Zhadanovsky

Introduction to Amazon Web Services by Leo Zhadanovsky
Anonim

Greenplum e Aster Data Systems, due startup coinvolte in larga scala analisi dei dati, ha annunciato questa settimana che i loro prodotti supporteranno MapReduce, una tecnica di programmazione originariamente sviluppata da Google per l'elaborazione parallela di grandi set di dati su hardware commodity.

Gli sviluppatori di software tendono ad essere più a loro agio con linguaggi come Java e C ++ SQL di linguaggio di database, ha dichiarato Mayank Bawa, cofondatore e CEO di Aster, produttore di un sistema di database cluster che suddivide i carichi di lavoro in più livelli discreti.

"La maggior parte degli sviluppatori fa fatica a far ballare un database alle proprie direzioni", ha ha scritto in un post sul blog. "Infatti, è necessario un master SQL per eseguire interrogazioni interessanti per le trasformazioni di dati (durante l'elaborazione ETL o l'elaborazione Extract-Load-Transform) o il data mining (durante l'analisi)."

Inserisci MapReduce, il cui scopo era fornire un "framework banalmente parallelizzabile in modo che anche gli sviluppatori alle prime armi (alias stagisti) possano scrivere programmi in una varietà di linguaggi (Java / C / C ++ / Perl / Python) per analizzare dati indipendenti dalla scala", ha scritto Bawa.

Nel frattempo, Greenplum, creatore di un database dice che può scalare fino a un petabyte di informazioni, ha detto questa settimana che un framework MapReduce farà parte del suo motore di flusso di dati a partire da settembre.

Gli annunci gemelli hanno portato un cenno di approvazione da un osservatore attento del database mondo.

"Da sola, MapReduce può fare un sacco di lavoro importante nella manipolazione e analisi dei dati. Integrarlo con SQL dovrebbe aumentare la sua applicabilità e potenza", ha scritto Curt Monash di Monash Research, sul blog DBMS2.

"MapReduce non è necessario per il tabu lar gestione dei dati. Questo è stato efficientemente parallelizzato in altri modi ", ha aggiunto." Ma se vuoi costruire strutture non tabulari come indici di testo o grafici, MapReduce risulta essere di grande aiuto. "