Migration de Solr vers Opensearch

Migration de 100 millions de documents de solr vers opensearch

Nous avons utilisé solr pour nos cas d'utilisation de recherche/flux/autosuggest/personnalisation e-commerce.

Défis avec le cluster Solr

La gestion de l'infrastructure solr (zookeeper, JVM, analyse GC, etc.) est un défi. En général, nous avons besoin d'un développeur dédié (SRE/SDE-3) pour cela.
Mise à niveau vers une version stable plus récente. Moins de soutien communautaire pour les problèmes critiques.

ELK est désormais livré avec une licence premium élastique. Nous avons donc opté pour opensearch car il est open source. Il est basé sur la version 7.10 d'elasticsearch. Il a une licence apache.

Défis majeurs

Le code existant avait des problèmes de conception. Étroitement couplé avec solr. Architecture de microservice et dépendance de plusieurs services.
Grande taille de cluster dans certaines régions et lancements par pays.

Nous avons utilisé terraform pour la formation de clusters d'opensearch dans toutes les régions.
Pour le code, nous avons utilisé le modèle de conception d'usine et le modèle de conception d'adaptateur.
Ingestion de données parallèle dans opensearch et solr.
Migration des données delta opensearch & solr par notre service de réindexation.
Lancement de service un par un avec la prise en charge d'opensearch et de solr
Une fois les étapes 1 à 5 terminées. Nous avons prévu un lancement et une surveillance par pays sur newRelic.

Goulot d'étranglement majeur : C'était autour du choix de la machine AWS de type nœud c5. Nous l'avons corrigé par analyse comparative et avons choisi d'utiliser c6g.

Résultat

Nous avons réussi à migrer plus de 100 millions de documents de solr vers opensearch sans temps d'arrêt. La migration a impliqué plus de 100 nœuds sur solr et opensearch. Nous avons également réussi à économiser environ 0,8 million USD.

Référence

Modèle de conception d'usine
Terraforme
Ouvrir la recherche
Solr
Modèle de conception de l'adaptateur

"Cette petite île change tout"

Comment nous avons conçu les activités en direct Lyft pour améliorer l'expérience des passagers

Un changeur de jeu pour le covoiturage De toutes les choses que nous faisons chez Lyft, la chorégraphie des ramassages entre les passagers et les chauffeurs est l'une des plus complexes et des plus conséquentes. Pour réussir cette chorégraphie, Lyft doit bien faire beaucoup de choses, mais il est essentiel de simplement tenir les coureurs au courant.

Le mensonge du cow-boy

Comment les mégacorporations ont vendu aux Américains un mensonge costaud

C'est un matin brillamment doré dans les collines de l'ouest, alors que les premiers rayons du soleil illuminent l'herbe givrée des plaines. Un troupeau de bovins Angus placides, d'un noir de jais et massif, se découpe sur le lever du soleil alors qu'ils descendent un sentier battu vers un lieu qu'ils connaissent tous bien; le bar du petit-déjeuner.

Financement de l'élimination du carbone au cours de l'exercice 24

La répartition des demandes de crédits de Carbon180 selon les filières

Par Alyson Lee, conseillère en gestion des affaires gouvernementales Le processus annuel d'affectation des crédits du gouvernement fédéral est au cœur de nos efforts pour financer l'élimination du dioxyde de carbone (CDR). Chaque année, Carbon180 soumet des demandes à divers bureaux du Congrès pour aider à orienter les flux de dollars de l'année prochaine.

L'art est-il toujours apolitique ?

Hier, nous avons fermé la porte du concours Eurovision de la chanson de cette année avec une grande finale scintillante et chaotique où la chanteuse suédoise Loreen a remporté le trophée, devenant la première femme à gagner deux fois et ramenant la couronne à la Suède 50 ans après qu'ABBA a remporté le concours. avec "Waterloo". Ils sont devenus l'un des plus grands groupes du canon de la musique pop.