Hotmail obtiene un nuevo sistema de almacenamiento, ¡lo que lo hace aún más rápido!

Hotmail recibe miles de millones de mensajes de correo electrónico cada día y estos tienen que almacenarse de manera segura y tiene que estar disponible fácilmente de manera eficiente. El sistema de almacenamiento basado en la nube de Hotmail admite más de mil millones de buzones de correo y cientos de petabytes de datos (un petabyte es un millón de gigabytes). Y manejar cientos de miles de transacciones simultáneas de manera eficiente a esta escala es un desafío de ingeniería. El sistema de almacenamiento está construido con tecnología de Microsoft, incluidos Windows Server y Microsoft SQL Server.

Microsoft ha estado trabajando en una importante actualización de este sistema de almacenamiento. Desde el comienzo de este año, un nuevo sistema basado en tecnologías desarrolladas en Hotmail se ha estado ejecutando en un clúster piloto utilizando cuentas personales de los empleados de Microsoft. Y después de pruebas rigurosas, el nuevo sistema ha sido certificado, lo que proporciona una mayor confiabilidad a un precio significativamente más bajo.

Veamos algunas de estas nuevas tecnologías utilizadas por Hotmail.

Implementando JBOD reemplazando RAID:

"RAID (Redundante Array of Inexpensive Disks) es una tecnología que permite conectar varios discos duros a una única placa controladora, lo que los hace parecer como un disco duro único más grande y confiable (a veces llamado "Unidad lógica") para el software que ejecuta el sistema de almacenamiento. "

Hotmail ha estado usando RAID durante mucho tiempo. El correo electrónico se mantuvo en múltiples grupos de RAID de modo que incluso cuando falla todo el RAID, los mensajes se pueden restaurar. Hotmail estudió la perspectiva de confiabilidad de unidades de capacidad superior a 1 terabyte y descubrió que no valía dinero desde el punto de vista de la confiabilidad. Como los sistemas RAID se ocupan fácilmente de los problemas que afectan al sistema individual, no cuando la máquina completa o el controlador RAID tienen problemas. Hotmail descubrió que tener copias en una máquina diferente que no compartía el controlador no solo era más confiable sino también más económica que la configuración RAID.

Así que desarrollaron JBOD (solo un grupo de discos) donde las copias de datos residen en discos duros independientes unidades, controladores y máquinas. De este modo, el controlador del disco duro se quitó casi por completo y se lo entrega al software para que lo controle. El software de este sistema JBOD fue desarrollado por Hotmail.

Este software JBOD supervisa constantemente los fallos y genera una alerta cuando se detecta, lo que desencadena un proceso de reparación. Este proceso de reparación puede reiniciar una máquina o reiniciar un proceso, arreglar la corrupción de datos o incluso involucrar intervención humana si es necesario. La principal ventaja de utilizar el software es que puede mantener las buenas copias de los correos priorizando las acciones de reparación si encuentra menos copias. Al usar este software, la replicación misma se simplificó

"El sistema de almacenamiento consiste en un conjunto de máquinas, cada una de las cuales tiene su copia de un mensaje de correo electrónico y un diario que registra los mensajes que han llegado, organizados por fecha de llegada. Las máquinas hablan entre sí de vez en cuando, comparan sus diarios y copian los mensajes que se dan cuenta que no se han copiado en todas las máquinas. "

Implementación de unidades de estado sólido (SSD) en lugar de discos duros.

Sabemos que los SSD son mucho más rápidos que los discos duros. Los discos duros, aunque más grandes y baratos, son lentos en el manejo de la tasa de solicitudes.

"Un disco duro normal puede realizar un poco más de cien operaciones de lectura / escritura por segundo, mientras que algunos SSD más rápidos pueden hacerlo cien mil operaciones por segundo. "

Aunque esta velocidad tiene un precio, ya que son mucho más caros / gigabytes en comparación con los discos duros.

Las SSD manejan la carga siempre cambiante de manera eficiente. Esto puede explicarse porque Hotmail no solo almacena los mensajes de correo electrónico sino que también realiza un seguimiento de varios metadatos en constante cambio como la lista de mensajes en la bandeja de entrada, el estado de mensajes leídos / no leídos, el enhebrado de conversaciones, etc. Sin embargo, estos metadatos ocupan una pequeña fracción de espacio de almacenamiento pone la carga máxima en discos duros debido a la naturaleza siempre cambiante. Por lo tanto, usar SSD para almacenar metadatos y discos duros para mensajes hace una combinación mejor y más eficiente.

Además de estas mejoras, Hotmail revelará muchas más en futuras publicaciones. El lanzamiento del nuevo sistema de almacenamiento ya ha comenzado y los nuevos clústeres se basarán en JBOD. Ya hay 30 millones de usuarios en JBOD, mientras que otros 100 millones se moverán en el transcurso del tiempo.

Si se ha dado cuenta, Hotmail se ha vuelto realmente rápido. Si no lo has hecho, pruébalo ahora.