Gli ingegneri di Facebook identificano le sfide dei Big Data di Graph Search

Gli ingegneri di Facebook hanno davanti a sé molte sfide mentre lavorano per ampliare la ricerca di grafi, il nuovo strumento di ricerca sociale del sito. Un ostacolo: un'eccessiva quantità di dati da esaminare.

Prendi l'esempio della ricerca di ristoranti giapponesi a New York amati da persone provenienti dal Giappone. Una ricerca che sembrerebbe generare centinaia se non migliaia di risultati sputa solo due miseri commerci.

Il motore di ricerca, nella sua attuale forma beta, semplicemente non ha il potere di elaborazione per vagliare i milioni di connessioni tra i giapponesi sul sito per eseguire la ricerca, gli ingegneri di Facebook hanno detto giovedì durante un briefing di piccoli media presso la sede della società a Menlo Park, California.

[Ulteriori letture: I migliori servizi di streaming TV]

Kerry Davis, IDGNSMike Curtiss, ingegnere su Facebook, descrive lo sfondo di Graph Search, che è alimentato da un motore di ricerca Facebook chiama Unicorn.

"C'è ancora molto lavoro che dobbiamo fare", ha detto l'ingegnere del software Michael Curtiss. "Una query come questa è molto complicata da un punto di vista computazionale," per iniziare con i 100 milioni in Giappone, e poi in una frazione di secondo per ordinare tutte le pagine preferite dalle persone in Giappone, ha detto.

"Questo è praticamente intrattabile nel limitato lasso di tempo che abbiamo ", ha detto l'ingegnere, che ha contribuito a progettare il motore di ricerca Unicorn del sito che fornisce l'infrastruttura di Graph Search. "Quello che finiamo per fare è tagliare i risultati possibilmente buoni."

Kerry Davis, la ricerca del grafo di IDGNSFacebook è chiamata Unicorn dalla compagnia. Al suo interno, i tipi di bordo sono attribuiti a un numero. Qui, il numero per gli amici, che funziona come una parola chiave all'interno del sistema, è mostrato in basso a sinistra dello schermo.

Facebook sta adottando una varietà di approcci per risolvere questo e altri problemi di big data associati a Graph Search.

Una strategia coinvolge un concetto in database informatici noto come "ottimizzazione delle query", per migliorare la velocità e l'efficienza di alcuni tipi di ricerche.

Nel caso della ricerca di ristoranti giapponesi, la tecnica potrebbe essere applicata per iniziare prima con i ristoranti che sono piaciuti invece di iniziare con il Giappone, e poi filtrare i like dalle persone, hanno detto gli ingegneri di Facebook.

La società sta anche affrontando le sfide a livello hardware, aggiungendo ulteriore memoria flash e altre nuove funzionalità al server che utilizza nei data center, per far fronte all'aumento del traffico di ricerca causato da Graph Search.

"Abbiamo bisogno di fare lavoro extra nei data center, acquistare nuove piattaforme hardware, [con] nuovi tipi di server messi a disposizione t i bisogni computazionali di Unicorn ", ha detto Soren Lassen, che ha guidato il team di infrastrutture di ricerca dietro Graph Search.

Facebook ha iniziato a lanciare Graph Search il mese scorso a un numero limitato di utenti negli Stati Uniti. Lo strumento di ricerca è progettato per consentire alle persone Combinare attraverso le connessioni di 1 trilione di social network tra gli utenti per cercare persone, luoghi, foto e interessi utilizzando frasi in inglese semplice.

In linea di principio, nulla può impedire agli utenti di digitare una query insolitamente lunga, ad esempio "Datori di lavoro" di amici dei miei amici che vivono a New York e che amano Downton Abbey, "hanno detto gli ingegneri, poiché Graph Search utilizza segnali come" Mi piace "e check-in per classificare più facilmente i risultati.

Alla fine Graph Search incorporerà altre metriche come commenti degli utenti e aggiornamenti di stato per compilare e classificare i risultati, ma questo è più in basso, ha detto la società.