Migration de Solr vers Opensearch

Migration de 100 millions de documents de solr vers opensearch

Nous avons utilisé solr pour nos cas d'utilisation de recherche/flux/autosuggest/personnalisation e-commerce.

Défis avec le cluster Solr

La gestion de l'infrastructure solr (zookeeper, JVM, analyse GC, etc.) est un défi. En général, nous avons besoin d'un développeur dédié (SRE/SDE-3) pour cela.
Mise à niveau vers une version stable plus récente. Moins de soutien communautaire pour les problèmes critiques.

ELK est désormais livré avec une licence premium élastique. Nous avons donc opté pour opensearch car il est open source. Il est basé sur la version 7.10 d'elasticsearch. Il a une licence apache.

Défis majeurs

Le code existant avait des problèmes de conception. Étroitement couplé avec solr. Architecture de microservice et dépendance de plusieurs services.
Grande taille de cluster dans certaines régions et lancements par pays.

Nous avons utilisé terraform pour la formation de clusters d'opensearch dans toutes les régions.
Pour le code, nous avons utilisé le modèle de conception d'usine et le modèle de conception d'adaptateur.
Ingestion de données parallèle dans opensearch et solr.
Migration des données delta opensearch & solr par notre service de réindexation.
Lancement de service un par un avec la prise en charge d'opensearch et de solr
Une fois les étapes 1 à 5 terminées. Nous avons prévu un lancement et une surveillance par pays sur newRelic.

Goulot d'étranglement majeur : C'était autour du choix de la machine AWS de type nœud c5. Nous l'avons corrigé par analyse comparative et avons choisi d'utiliser c6g.

Résultat

Nous avons réussi à migrer plus de 100 millions de documents de solr vers opensearch sans temps d'arrêt. La migration a impliqué plus de 100 nœuds sur solr et opensearch. Nous avons également réussi à économiser environ 0,8 million USD.

Référence

Modèle de conception d'usine
Terraforme
Ouvrir la recherche
Solr
Modèle de conception de l'adaptateur

"Cette petite île change tout"

Comment nous avons conçu les activités en direct Lyft pour améliorer l'expérience des passagers

Un changeur de jeu pour le covoiturage De toutes les choses que nous faisons chez Lyft, la chorégraphie des ramassages entre les passagers et les chauffeurs est l'une des plus complexes et des plus conséquentes. Pour réussir cette chorégraphie, Lyft doit bien faire beaucoup de choses, mais il est essentiel de simplement tenir les coureurs au courant.

Le mensonge du cow-boy

Comment les mégacorporations ont vendu aux Américains un mensonge costaud

C'est un matin brillamment doré dans les collines de l'ouest, alors que les premiers rayons du soleil illuminent l'herbe givrée des plaines. Un troupeau de bovins Angus placides, d'un noir de jais et massif, se découpe sur le lever du soleil alors qu'ils descendent un sentier battu vers un lieu qu'ils connaissent tous bien; le bar du petit-déjeuner.

"La fosse des Mariannes dévoilée : dévoiler les terrifiantes vérités cachées de l'abîme"

Introduction :Bienvenue, courageux lecteurs, dans un voyage qui nous emmènera dans les profondeurs les plus sombres de notre planète. Dans ce blog, nous plongeons dans le monde énigmatique de la fosse des Mariannes, découvrant ses secrets cachés et découvrant les vérités effrayantes qui se cachent sous sa surface.

Conversations dangereuses

Si nous voulons continuer à prospérer sur cette planète, nous allons devoir avoir des conversations dangereuses. Celles qui remettent en question ce que nous avons fait, ce que nous faisons et ce que nous sommes actuellement sur le point de continuer à faire (ou prévoyons de faire).

Ce que vous pouvez faire pendant votre saison d'attente (attendre de décrocher votre premier emploi dans la technologie)

Passer à une nouvelle carrière peut être extrêmement difficile si vous essayez de le faire seul. Il est important de trouver des partenaires de responsabilité qui sont au même niveau d'apprentissage que vous, qui partagent des objectifs, une ténacité et un dynamisme similaires.