Elasticsearch permet la recherche de 4 To de données de logs par semaine à 400 Ingénieurs Criteo


Rédigé par Communiqué de Elastic le 30 Juin 2016

Un nouvel outil interne de gestion des logs optimise l'efficacité de débogage dans une multinationale de marketing



Elastic, société à l'origine d'Elasticsearch, le moteur de recherche distribué en temps réel, a annoncé aujourd'hui que Criteo (NASDAQ : CRTO) a développé un nouvel outil interne de gestion des logs à l'aide de la suite Elastic (Elastic Stack), permettant ainsi à Criteo d'analyser entre 1 et 8 milliards de logs d'événements chaque semaine et de dia- gnostiquer les éventuels problèmes avant qu'ils ne surgissent, et ainsi maintenir une efficacité optimale au sein des datacenters.
En tant que leader mondial dans le marketing numérique à la performance, Criteo est présent dans plus de 80 pays sur le continent américain, l'Europe, le Moyen-Orient, L’Afrique et l'Asie-Pacifique, travaillant avec plus de 11 000 annonceurs et en relation directe avec près de 16 000 éditeurs pour acheter de l'espace et offrir des publicités en temps réel. En 2015, Criteo a publié 710 milliards de publicités ciblées en ligne, chaque demande d'enchère devant être traitée en moins de 100 millisecondes, la performance de l'infrastructure du serveur de Criteo est donc la clé de leur réussite.
« Nous disposons actuellement de 8 datacenters en service aux États-Unis, en Europe et en Asie, avec 17 000 serveurs qui créent des logs d'événements sans interruption. Nous stockons chaque semaine 4 To de données, soit environ 8 milliards de documents. Nous avons besoin d'une solution qui puisse rechercher les logs d'événements rapidement et capable de faire face aux gros volumes de données. » selon Nicolas Helleringer, Directeur de l'ingénierie de fiabilité des sites chez Criteo.
Les logs d'événements sont des fichiers qui enregistrent les incidents survenant dans les serveurs ou au sein des applications. Pour chaque incident qui se produit, un log d'événement est créé afin de permettre aux administrateurs de résoudre les problèmes. La croissance ultra ra- pide de Criteo a mis en évidence un besoin de disposer d'un nouvel outil capable de prendre en charge des gros volumes de données et de déceler rapidement les problèmes de logs d'é- vénements. Elasticsearch a été choisi pour ses capacités de scalabilité horizontale sur des vo- lumes de données colossaux, sa simplicité d'utilisation et de configuration pour les dévelop- peurs ainsi que sa compatibilité automatique avec Kibana pour des analyses en temps réel. Tout cela permet aux 400 ingénieurs de Criteo d'identifier les problèmes et erreurs du système pour les corriger sans délai.
« Grâce à Elastic Stack comme système de gestion de nos logs, nous sommes en mesure non seulement de diagnostiquer les problèmes rapidement mais aussi de constater les tendances, par exemples les erreurs les plus fréquentes. » explique Helleringer. « La prochaine étape sera d'anticiper les problèmes avant qu'ils n'aient lieu, utilisant éventuellement des fonctionnalités plus avancées d'Elasticsearch. »
« Criteo est au premier plan de la scène économique numérique, distribuant, chaque jour, des millions de publicités en ligne en temps réel dans le monde entier », précise Gaurav Gupta, Vice-président Produits chez Elastic. « Nous sommes ravis que Criteo ait pu construire un outil interne de gestion des logs à l'aide d'Elastic Stack, répondant ainsi aux besoins de leurs ingé- nieurs, développeurs et équipes IT. »



Dans la même rubrique :