Solr'un Opensearch'e Geçişi

100 milyon belgenin solr'dan opensearch'e taşınması

Solr'u e-ticaret arama/besleme/otomatik önerme/kişiselleştirme kullanım durumlarımız için kullandık.

Solr kümesiyle ilgili zorluklar

  • Solr altyapısını yönetmek (zookeeper , JVM, GC analizi vb.) zorlu bir iştir. Genel olarak, bunun için özel bir geliştiriciye (SRE/SDE-3) ihtiyacımız var.
  • Daha yeni bir kararlı sürüme yükseltme. Herhangi bir kritik sorun için daha az topluluk desteği.

ELK artık esnek premium lisansla geliyor. Bu yüzden açık kaynak olduğu için opensearch'ü seçtik. Elasticsearch 7.10 sürümüne dayanmaktadır. apache lisansı vardır.

Başlıca Zorluklar

  • Mevcut kodun tasarım sorunları vardı. Solr ile sıkı bir şekilde birleştirilmiştir. Mikro hizmet mimarisi ve çoklu hizmet bağımlılığı.
  • Bazı bölgelerde ve ülke bazında lansmanlarda büyük küme boyutu.
  1. Tüm bölgelerde açık arama küme oluşumu için terraform kullandık.
  2. Kod için fabrika tasarım modelini ve Adaptör tasarım modelini kullandık.
  3. Hem opensearch hem de solr'da paralel veri alımı.
  4. Yeniden indeksleme hizmetimiz tarafından delta verisi opensearch & solr'un taşınması.
  5. Hem opensearch hem de solr desteğiyle tek tek hizmet lansmanı
  6. 1'den 5'e kadar olan adımlar hazır olduğunda. newRelic'te ülke bazında lansman ve izleme planladık.

Büyük darboğaz : Düğüm tipi c5 AWS makinesinin seçimi civarındaydı. Kıyaslama yaparak düzelttik ve c6g ile gitmeyi seçtik.

Sonuç

100 milyondan fazla belgeyi hiçbir kesinti olmadan solr'dan opensearch'e başarıyla taşıdık. Geçiş, solr ve opensearch üzerinde 100'den fazla düğüm içeriyordu. Ayrıca yaklaşık 0,8 milyon USD tasarruf etmeyi başardık.

Referans

  1. Fabrika tasarım deseni
  2. Dünya biçimi
  3. açık arama
  4. Güneş
  5. Adaptör tasarım deseni

Suggested posts

Tasarımda iki yıl - İyi, kötü ve çirkin…

Tasarımda iki yıl - İyi, kötü ve çirkin…

"Hey Siri, Olivia Dean'in Me Dive oyununu çal." Nijerya, Akure'deki Future Academy Africa'da stajıma başladığımda Mayıs 2021'di.

“O küçük ada her şeyi değiştirir”

Sürücü deneyimini yükseltmek için Lyft Canlı Etkinlikleri nasıl tasarladık?

“O küçük ada her şeyi değiştirir”

Yolculuk paylaşımı için ezber bozan bir şey Lyft'te yaptığımız her şey arasında, sürücüler ve sürücüler arasındaki alışmaların koreografisini yapmak en karmaşık ve önemli olanlardan biridir. Bu koreografiyi başarmak, Lyft'in pek çok şeyi iyi yapmasına bağlıdır, ancak yalnızca binicileri hıza uydurmak çok önemlidir.

Related posts

Yavaş Erozyon: İnsanların Kariyerlerinde Boşa Harcadıkları Yolları Ortaya Çıkarma

Yavaş Erozyon: İnsanların Kariyerlerinde Boşa Harcadıkları Yolları Ortaya Çıkarma

Günümüzün hızlı tempolu ve rekabetçi dünyasında, kişinin kariyeri kişisel gelişim, finansal istikrar ve genel yaşam memnuniyetinde önemli bir rol oynamaktadır. Bununla birlikte, birçok kişi profesyonel yaşamlarında giderek tükenmekte olan amansız bir durgunluk ve tatminsizlik döngüsüne kapılmış durumda.

Medyayı Yeniden Düşünmek: McChesney'nin Beş Gerçeği ve İletişimin Geleceği

Günümüzün hiper-bağlantılı dünyasında, medya sistemleri kamuoyunun şekillenmesinde ve dolayısıyla demokratik karar vermede çok önemli bir rol oynamaktadır. Bilgin Robert McChesney, iletişimin ekonomi politiğine ilişkin derinlemesine analizinde, geleneksel kanıya meydan okuyor ve medya hakkında kendi deyimiyle "beş gerçek" sunuyor.

Goodreads Okuma Yarışması Zehirlidir

Goodreads Okuma Yarışması Zehirlidir

Elimdeki kaşıntı, yerel kitapçıyla başka bir kitap için pazarlık yaparken yayıldı. Son zamanlarda satın aldığım diğerleri gibi bu kitap da tahtını 'Okunacak' (TBR) yığınımda bulacaktı; ve yine de satın aldım.

kovboy yalanı

Mega şirketler Amerikalılara nasıl büyük bir yalan sattı?

kovboy yalanı

Güneşin ilk ışınları düzlüklerdeki buzlu çimleri aydınlatırken, batının engebeli tepelerinde parıldayan altın rengi bir sabah. Simsiyah ve iri, sakin bir Angus sığır sürüsü, hepsinin iyi bildiği bir yere giden ıssız bir patikadan aşağı inerken güneşin doğuşuna karşı siluet oluşturuyor; kahvaltı barı.