Migrasi Solr ke Opensearch
Migrasi 100 juta dokumen dari solr ke opensearch
Kami menggunakan solr untuk kasus penggunaan penelusuran/umpan/saran otomatis/personalisasi e-niaga kami.
Tantangan dengan solr cluster
- Mengelola infrastruktur solr (zookeeper, JVM, analisis GC, dll.) adalah sebuah tantangan. Secara umum, kami membutuhkan pengembang khusus (SRE/SDE-3) untuk itu.
- Upgrade ke versi stabil yang lebih baru. Kurangnya dukungan komunitas untuk masalah kritis apa pun.
ELK kini hadir dengan lisensi premium elastis. Jadi kami memilih opensearch karena opensource. Ini didasarkan pada versi elasticsearch 7.10. Ini memiliki lisensi apache.
Tantangan Utama
- Kode yang ada memiliki masalah desain. Erat digabungkan dengan solr. Arsitektur layanan mikro dan beberapa ketergantungan layanan.
- Ukuran kluster besar di beberapa wilayah & peluncuran berdasarkan negara.
- Kami menggunakan terraform untuk pembentukan klaster opensearch di semua wilayah.
- Untuk kode kami menggunakan pola desain pabrik dan pola desain Adaptor.
- Penyerapan data paralel di opensearch & solr.
- Migrasi data delta opensearch & solr oleh layanan pengindeksan ulang kami.
- Peluncuran layanan satu per satu dengan dukungan untuk opensearch & solr
- Setelah langkah 1 sampai 5 sudah siap. Kami merencanakan peluncuran dan pemantauan berdasarkan negara di newRelic.
Hambatan utama : Itu ada di sekitar pilihan mesin AWS c5 tipe node. Kami memperbaikinya dengan pembandingan dan memilih untuk menggunakan c6g.
Hasil
Kami berhasil memigrasikan lebih dari 100 juta dokumen dari solr ke opensearch tanpa downtime. Migrasi melibatkan lebih dari 100+ node di solr dan opensearch. Kami juga berhasil menghemat sekitar 0,8 juta USD.
Referensi
- Pola desain pabrik
- Terraform
- Opensearch
- Solr
- Pola desain adaptor
Suggested posts
Dua tahun dalam desain- Yang baik, buruk, dan jelek…
“Hai Siri, mainkan Me Dive oleh Olivia Dean.” Saat itu Mei 2021 ketika saya memulai magang di Future Academy Africa di Akure, Nigeria.
“Pulau kecil itu mengubah segalanya”
Bagaimana kami merancang Lyft Live Activities untuk meningkatkan pengalaman pengendara
Pengubah permainan untuk rideshare Dari semua hal yang kami lakukan di Lyft, membuat koreografi pickup antara pengendara & pengemudi adalah salah satu yang paling kompleks dan konsekuensial. Memakukan koreografi ini bergantung pada Lyft yang melakukan banyak hal dengan baik, tetapi menjaga kecepatan pengendara itu penting.
Related posts
Menciptakan Lingkungan Kerja yang Aman
“Dia akan melindungiku saat aku dalam bahaya. Dia akan menyembunyikan saya di tendanya.
Lacak Siapa Saja Hanya dengan Nomor Telepon | Investigasi OSINT
Anda bisa menjadi Penyelidik OSINT, Pemain CTF, atau sekadar seseorang yang menerima panggilan spam. Seseorang yang mencoba memverifikasi nomor yang Anda lihat di iklan.
Penampilan Solo Gadis Berambut Merah
Atas tugas dari Hayden, Katie memfilmkan dirinya sedang masturbasi.
Sudah lewat tengah malam ketika Hayden mengantar Katie kembali ke asrama kampusnya setelah malam mereka bersama. Dia memiliki kelas awal di pagi hari dan tidak memiliki pakaian ganti lagi setelah tinggal bersamanya malam sebelumnya.
Apa yang dapat Anda lakukan di musim menunggu (menunggu untuk mendapatkan pekerjaan pertama Anda di bidang teknologi)
Beralih ke karir baru bisa sangat menantang jika Anda mencoba melakukannya sendiri. Penting untuk menemukan mitra akuntabilitas yang memiliki tingkat pembelajaran yang sama dengan Anda, yang memiliki tujuan, keuletan, dan dorongan yang sama.