Car-tech

Los ingenieros de Facebook identifican los desafíos de big data de Graph Search

Aumentamos la productividad de esta empresa en más de 34% - ¡Mira cómo lo hicimos!

Aumentamos la productividad de esta empresa en más de 34% - ¡Mira cómo lo hicimos!
Anonim

Los ingenieros de Facebook tienen muchos desafíos por delante mientras trabajan para ampliar Graph Search, la nueva herramienta de búsqueda social del sitio. Un obstáculo: una sobreabundancia de datos para analizar.

Tome el ejemplo de buscar restaurantes japoneses en la ciudad de Nueva York que le gusten a la gente de Japón. Una búsqueda que parece generar cientos, sino miles de resultados, solo arroja dos empresas miserables.

El motor de búsqueda, en su versión beta actual, simplemente no tiene la capacidad de procesamiento para filtrar las millones de conexiones entre los japoneses. en el sitio para realizar la búsqueda, ingenieros de Facebook dijeron el jueves durante una pequeña conferencia de prensa en la sede de la compañía en Menlo Park, California.

[Lectura adicional: Los mejores servicios de transmisión de televisión]

Kerry Davis, IDGNSMike Curtiss, ingeniero en Facebook, describe los antecedentes de Graph Search, que funciona con un motor de búsqueda llamado Unicorn en Facebook.

"Todavía tenemos mucho trabajo por hacer", dijo el ingeniero de software Michael Curtiss. "Una consulta como esta es muy difícil desde el punto de vista computacional", para comenzar con los 100 millones en Japón, y luego en una fracción de segundo para ordenar todas las páginas que gustan a la gente en Japón, dijo.

"Esto es virtualmente intratable en la cantidad limitada de tiempo que tenemos ", dijo el ingeniero, que ayudó a diseñar el motor de búsqueda Unicorn del sitio que proporciona la infraestructura de Graph Search. "Lo que terminamos teniendo que hacer es recortar posibles buenos resultados".

Kerry Davis, la base de búsqueda de gráficos de IDGNSFacebook se llama Unicornio por la compañía. Dentro de ella, los tipos de borde se atribuyen a un número. Aquí, el número de amigos, que funciona como una palabra clave dentro del sistema, se muestra en la parte inferior izquierda de la pantalla.

Facebook está tomando una variedad de enfoques para resolver este y otros problemas de big data asociados con Graph Search.

Una estrategia implica un concepto en bases de datos informáticas conocido como "optimización de consultas" para mejorar la velocidad y la eficiencia de ciertos tipos de búsquedas.

En el caso de la búsqueda en restaurantes japoneses, la técnica podría aplicarse para comenzar primero con los restaurantes que son del agrado en lugar de comenzar con Japón y luego filtrar los gustos de las personas, dijeron los ingenieros de Facebook.

La compañía también está abordando los desafíos a nivel de hardware, agregando memoria flash adicional y otras características nuevas al servidores que usa en los centros de datos, para acomodar el aumento en el tráfico de búsqueda causado por la búsqueda de gráficos.

"Necesitamos hacer un trabajo extra en los centros de datos, comprar nuevas plataformas de hardware, [con] nuevos tipos de servidores para respaldar las necesidades computacionales de Unicorn ", dijo Soren Lassen, quien dirigió el equipo de infraestructura de búsqueda detrás de Graph Search.

Facebook comenzó a implementar Graph Search el mes pasado para un número limitado de usuarios en los Estados Unidos. La herramienta de búsqueda está diseñada para permitir que las personas explore las 1 billón de conexiones de la red social entre los usuarios para buscar personas, lugares, fotos e intereses usando frases en inglés sencillo.

En principio, nada puede impedir que los usuarios escriban una consulta que es inusualmente larga, como "Empresarios de amigos de mis amigos que viven en Nueva York y que les gusta Downton Abbey ", dijeron los ingenieros, ya que Graph Search usa claves como" Me gusta "y registros para clasificar más fácilmente los resultados.

Eventualmente Graph Search incorporará otras métricas como los comentarios de los usuarios y las actualizaciones de estado para compilar y clasificar los resultados, pero eso está más adelante en la línea, dijo la compañía.