I piani di Big Data di Facebook includono magazzini, analisi più veloce

Facebook può far tesoro dei dati che ha sul suo miliardo e più utenti per i suoi rendimenti pubblicitari, ma l'analisi che il sito esegue su quei dati dovrebbe continuare a porre numerose sfide nel corso del prossimo anno, ha detto un ingegnere.

I problemi, a cui Facebook è stato costretto a cimentarsi con "molto prima del settore più ampio", comprendono metodi più efficienti per elaborare il comportamento degli utenti sul sito, come accedere e consolidare meglio i diversi tipi di dati nei vari data center di Facebook e ideare nuovi sistemi software open source per elaborare tali dati, Ra vi Murthy, che gestisce l'infrastruttura di analisi di Facebook, ha dichiarato martedì.

"Facebook è un'azienda di dati, e la cosa più ovvia che la gente pensa su questo fronte è il targeting degli annunci", ha detto in una conferenza di settore a San Francisco, nel parla dell'infrastruttura back-end di Facebook, dell'analisi dei dati e dei progetti open source.

[Ulteriori letture: I migliori servizi di streaming TV]

"Ma va più in profondità di così", ha detto.

Un'area principale di Il lavoro dietro le quinte si riferisce all'infrastruttura analitica di Facebook, progettata per accelerare lo sviluppo del prodotto e migliorare l'esperienza dell'utente attraverso l'analisi approfondita di tutti i dati disponibili, sia che si tratti di azioni che gli utenti intraprendono sul sito come postare aggiornamenti di stato o quali applicazioni che usano all'interno di Facebook su diversi dispositivi.

Facebook utilizza attualmente diversi sistemi software open source conosciuti come Hadoop, Corona e Prism per elaborare e analizzare i suoi dati, che la società si concentrerà sul fare Più veloce e più efficiente nei prossimi sei-dodici mesi, ha detto Murthy.

Molte delle sfide dell'azienda sono legate a ciò che Facebook chiama il suo data warehouse, che combina i dati da più fonti in un database in cui l'attività dell'utente può essere analizzata in forma aggregata, ad esempio fornendo un rapporto giornaliero sul numero di foto che sono state taggate in un determinato paese o esaminando il numero di utenti in una determinata area che hanno interagito con le pagine a loro consigliate.

L'analisi è progettato per ottimizzare le esperienze degli utenti e scoprire ciò che piace e non piace agli utenti, ma sta diventando sempre più oneroso dato che Facebook è in grado di accedere a più e più dati sui propri utenti, ha detto Murthy. Attualmente, il magazzino di Facebook raccoglie 500 terabyte di nuovi dati ogni giorno o 500.000 gigabyte. Il magazzino è cresciuto di quasi 4000 volte negli ultimi quattro anni, "in anticipo sulla crescita degli utenti di Facebook", ha detto Murthy.

Per affrontare questi problemi, Facebook ha sviluppato il suo sistema software Prism, progettato per funzionare funzioni di analisi chiave nei data center dell'azienda in tutto il mondo e suddivisione delle analisi in "blocchi", ha detto Murthy. In questo modo, l'esecuzione di un'analisi su, ad esempio, alcune metriche relative ai feed di notizie degli utenti non intasa più in generale il magazzino.

"Stiamo sempre più pensando a come acquisire questi dati", ha affermato.

L'azienda sta anche lavorando su un sistema che adotta un approccio completamente diverso per interrogare il magazzino in modo da fornire un tempo di risposta nel giro di pochi secondi, ha detto Murthy.

Un'altra area su cui Facebook sta continuamente migliorando è la sua "infrastruttura transazionale, "Che gestisce l'elaborazione dei dati più semplice di tutti i giorni, ad esempio, i mi piace, i commenti e gli aggiornamenti di stato per mantenere il social network senza intoppi. Alcune delle domande che gli ingegneri e gli analisti della società stanno esaminando comprendono come prevedere la crescita effettiva di questo tipo di dati e quanto l'informatica di cui Facebook dovrebbe occuparsi veramente, ha detto Murthy.

"Possiamo prevedere cosa succederà tra sei mesi?", Ha detto.

Nel frattempo, Facebook è anche coinvolto in uno sforzo a lungo termine per rendere più efficienti i suoi server fisici. La società ha iniziato il suo progetto Open Compute nel 2011, con l'obiettivo di progettare server modulari che offrano ai clienti un maggiore controllo su rete, memoria, alimentatori e altri componenti che entrano nei loro server. È stato ampliato per incorporare processori ARM a gennaio.