Hotmail ottiene un nuovo sistema di storage - rendendolo ancora più veloce!

Hotmail riceve miliardi di messaggi e-mail ogni giorno e questi devono essere archiviati in modo sicuro e devono essere reso facilmente disponibile in modo efficiente. Il sistema di storage basato su cloud di Hotmail supporta oltre un miliardo di cassette postali e centinaia di petabyte di dati (un petabyte è un milione di gigabyte). Gestire in modo efficiente centinaia di migliaia di transazioni simultanee su questa scala è una sfida ingegneristica. Il sistema di archiviazione è costruito utilizzando la tecnologia Microsoft, inclusi Windows Server e Microsoft SQL Server.

Microsoft ha lavorato a un importante aggiornamento a questo sistema di archiviazione. Dall`inizio di quest`anno un nuovo sistema basato su tecnologie sviluppate su Hotmail è stato eseguito su un cluster pilota utilizzando account personali di dipendenti Microsoft. E dopo test rigorosi, il nuovo sistema è stato certificato che fornisce una maggiore affidabilità ad un prezzo significativamente inferiore.

Vediamo alcune di queste nuove tecnologie utilizzate da Hotmail.

Implementazione di JBOD in sostituzione di RAID:

"RAID (ridondante Array of Inexpensive Disks) è una tecnologia che consente di collegare diversi dischi rigidi a una singola scheda controller, che li fa apparire come un unico disco rigido più grande e più affidabile (a volte chiamato "unità logica") al software che esegue il sistema di archiviazione. "

Hotmail utilizza il RAID da molto tempo. Le e-mail sono state mantenute su più gruppi RAID in modo che anche quando l`intero RAID non funziona, i messaggi possono essere ripristinati. Hotmail ha studiato il punto di vista dell`affidabilità di unità di capacità superiori a 1 terabyte e ha scoperto che non era un valore monetario dal punto di vista dell`affidabilità. Poiché i sistemi RAID si occupano facilmente di problemi che riguardano il singolo sistema ma non quando un`intera macchina o il controller RAID si imbattono in problemi. Hotmail ha scoperto che avere copie su una macchina diversa che non condividono il controller non era solo più affidabile ma anche meno costoso della configurazione RAID.

Così hanno sviluppato JBOD (Just a Bunch Of Disks) dove le copie dei dati risiedono su hard indipendenti unità, controller e macchine. Così facendo il controller del disco rigido quasi completamente fuori mano e consegnandolo al software da controllare. Questo software di sistema JBOD è stato sviluppato da Hotmail.

Questo software JBOD monitora costantemente i guasti e solleva un avviso quando trovato, innescando così un processo di riparazione. Questo processo di riparazione può riavviare una macchina o riavviare un processo, correggere il danneggiamento dei dati o persino coinvolgere l`intervento umano se necessario. Il vantaggio principale dell`uso del software è che può mantenere le buone copie di posta prioritizzando l`azione di riparazione se trova meno copie. Usando questo software, la replicazione stessa è stata semplificata

"Il sistema di archiviazione è costituito da un set di macchine, ognuna delle quali ha la sua copia di un messaggio e-mail e dei messaggi di registrazione del journal arrivati, organizzati in base alla data di arrivo. Le macchine parlano tra loro di volta in volta, confrontano i loro periodici e copiano tutti i messaggi che realizzano non sono stati copiati su tutte le macchine. "

Implementazione di unità a stato solido (SSD) invece di dischi rigidi.

Sappiamo che gli SSD sono molto più veloci dei dischi rigidi. I dischi rigidi, anche se più grandi e meno costosi, sono lenti nel gestire la frequenza delle richieste.

"Un normale disco rigido può eseguire un po `più di cento operazioni di lettura / scrittura al secondo, mentre alcuni degli SSD più veloci possono fare oltre centomila operazioni al secondo. "

Sebbene questa velocità abbia un prezzo molto più costoso / gigabyte rispetto ai dischi rigidi.

Gli SSD gestiscono il carico in continuo cambiamento in modo efficiente. Questo può essere spiegato come Hotmail non solo memorizza i messaggi e-mail, ma tiene anche traccia dei vari metadati che cambiano costantemente, come l`elenco dei messaggi nella posta in arrivo, lo stato letti / non letti dei messaggi, il threading delle conversazioni ecc. Questi metadati però occupano una piccola parte dello spazio di archiviazione mette il carico massimo sui dischi rigidi a causa della natura sempre mutevole. Quindi utilizzare SSD per archiviare metadati e dischi rigidi per i messaggi rende una combinazione migliore ed efficiente.

Oltre a questi miglioramenti, Hotmail ne rivelerà molti altri in futuro. Il lancio del nuovo sistema di archiviazione è già iniziato e i nuovi cluster saranno basati su JBOD. Già 30 milioni di utenti sono su JBOD mentre altri 100 milioni si muoveranno nel corso del tempo.

Se hai notato, Hotmail è diventato davvero veloce. Se non l`hai fatto, prova adesso