An Interest In:
Web News this Week
- April 18, 2024
- April 17, 2024
- April 16, 2024
- April 15, 2024
- April 14, 2024
- April 13, 2024
- April 12, 2024
Kafka da Neden Partition Olutururuz?
Aggrigation yapabiliriz: yani yazlan verilerin belli zelliklere gre toplanmas. Producer'lerin verilerinin belirlenen zelliklerine gre toplanmasdr.
Verilerin sral bir ekilde toplanmas (sorting - event sourcing)
Daha hzl okumak (parallelism)
Verileri daha verimli saklamak (efficiency)
Round robin: Gelen mesajlar srasyla partitionlara bltrmek
Aggregation: rnein key deerini category olarak verirsek mesajlar kategoriye gre gruplandrlp yle gnderilir.
Sorting- event sourcing: rnein customerId'yi key olarak verirsek login, add to cart, purchase (giri yap, sepete ekle, satn alma) gibi kullanclarn yapt ilemleri arka arkaya sralar.
Bir partition olsayd okuma ve yazma performans ok kt olurdu yani paralelizm yapamazdk.
Bir partition'dan ayn anda ayn kimlie sahip sadece bir consumer okuyabilir.
Partition kullanarak byk boyutlu mesajlar istediimiz ekilde ynlendirebiliriz.
Mesela byk mesajlar belli bir partition'a kk mesajlar belli bir partition'a ynlendirebiliriz.
Leader partition : her partitionun replication kopyalarndan biri lider olarak atanr bizde bu lider partitiona yazarz. Bu yazdmz partition da dier replication kopyalarna bu bilgiyi gnderip senkronize eder.
Eer bir nedenden dolay lider olan partition kerse kafka hemen yeni bir partition'u lider olarak seer.
Kafkaya veri yazm safhadan oluur:
- Kafkaya veri gndermek
- Verinin lider olan partition'a gnderilip saklanmas
- Lider olan partition'un bu veriyi dier kopya olan partition'lara aktarmas
Producer Acknowledgement:
Kafkaya veri gnderdiimizde bu safhann hangilerinin bitmesini veya tastik etmesi gerektiini belirleyebiliyoruz buna acknowledgement deniliyor.
Acks=0 (en hzl ve riskli olan mesaj kaybolma ans yksek)
Kafkaya gnder ve cevab beklemeden devam et
Acks=1 (orta derece hzl ve gvenli, Mesaj kaybolma ans ok az)
Kafkaya gnder ve sadece leader yazana kadar bekle
Acks= all, -1 (en yava ve en gvenlisi , mesaj kaybolma ans yok)
Kafkaya gnder, leader yazmasn ve leader'in dier partition'lara yazmasn bekle
Original Link: https://dev.to/gulsenkeskin/kafka-da-neden-partition-olustururuz-4fog
Dev To
An online community for sharing and discovering great ideas, having debates, and making friendsMore About this Source Visit Dev To