Yahoo aiuta IIT Bombay a configurare Hadoop Cluster Lab

Yahoo ha aiutato l'Indian Institute of Technology di Bombay a creare un laboratorio di cluster Hadoop a Mumbai donando un cluster di server che eseguono il software Hadoop open source.

Apache Hadoop è un progetto di calcolo distribuito open source del Apache Software Foundation supportata da Yahoo.

Yahoo esegue un gran numero di operazioni critiche utilizzando Hadoop e non può effettuare tutte le ricerche necessarie su Hadoop all'interno dell'azienda, ha detto Prabhakar Raghavan, vicepresidente senior e responsabile di Yahoo Labs, in un'intervista telefonica giovedì

Yahoo ha annunciato nel giugno dell'anno scorso la propria distribuzione di Hadoop, citando l'interesse della comunità Apache Hadoop di pubblicare la versione di Hadoop che verifica e distribuisce sui propri cluster di grandi dimensioni.

Il cluster laboratorio presso M umbai aiuterà i ricercatori nelle aree di studio dell'istituto come la ricerca e le tecniche di classificazione, l'estrazione delle informazioni e l'elaborazione del linguaggio naturale.

I ricercatori accademici che desiderano studiare problemi relativi al Web non sono in genere in grado di accedere alle risorse di calcolo e ai terabyte di dati necessari per la ricerca di "problemi su scala Web", ha detto Raghavan.

A partire dalla fornitura di ricercatori Hadoop alla Carnegie Mellon University con un supercomputer da 4.000 processori nel 2007, Yahoo ha aiutato altre università negli Stati Uniti a creare Hadoop

Raghavan non ha fornito ulteriori dettagli sul cluster installato all'IIT, dicendo solamente che server con centinaia di CPU e capacità di gestire terabyte di dati sono stati distribuiti lì.

Oltre a IIT Bombay, Yahoo sta aiutando a creare cluster simili presso le istituzioni accademiche in Germania e Singapore, ha detto Raghavan. Queste sono le prime tre istituzioni accademiche al di fuori degli Stati Uniti in cui Yahoo sta aiutando a creare cluster di questo tipo, ha aggiunto.

Yahoo ha in programma di collegare in seguito alcuni dei cluster di tutto il mondo per creare una "utility più grande". Prima di questo, le capacità di amministrazione del sistema di Hadoop devono essere rafforzate per impedire a uno studente in un'istituzione di interrompere il lavoro in un'altra istituzione, ha detto Raghavan.

Yahoo ha collaborato nel 2008 con Computational Research Laboratories (CRL), un laboratorio gestito dall'India Tata Group, per offrire servizi di supercalcolo gratuiti alle istituzioni accademiche in India che stanno ricercando l'elaborazione su larga scala, in particolare intorno a Hadoop. La collaborazione continua, ma è incentrata sul supercalcolo ad alte prestazioni, ha detto Raghavan.

La partnership con le istituzioni accademiche su Hadoop aiuta Yahoo a creare un pool di ingegneri che hanno familiarità con la piattaforma Hadoop, secondo Raghavan. Alcuni di essi sono stati addirittura assunti da Yahoo, ha aggiunto.

Yahoo ha anche beneficiato di idee emerse da istituzioni accademiche che fanno ricerche usando Hadoop, ha detto Raghavan. Non ha tuttavia fornito esempi specifici di idee che sono stati raccolti da questa collaborazione con le istituzioni accademiche.