Apache Kafka: nākamās paaudzes izplatītā ziņojumapmaiņas sistēma

Apache Kafka nodrošina augstas caurlaidspējas un mērogojamas ziņojumapmaiņas sistēmas, padarot to populāru reāllaika analīzē. Uzziniet, kā Apache kafka apmācība var jums palīdzēt



Mūsdienu pasaulē dati ir galvenā sastāvdaļa interneta lietojumprogrammu un parasti ietver:



  • Lapas apmeklējumi un klikšķi
  • Lietotāju darbības
  • Notikumi, kas atbilst pieteikšanās reizēm
  • Sociālo tīklu darbības, piemēram, atzīmes Patīk, kopīgošana un komentāri
  • Lietojumprogrammas metrika (piemēram, žurnāli, lapas ielādes laiks, veiktspēja utt.)

Šis datus var izmantot analīzes veikšanai reāllaikā kalpo dažādiem mērķiem, no kuriem daži ir:

  • Reklāmu piegāde
  • Nenormālas lietotāju uzvedības izsekošana
  • Meklēšanas parādīšana, pamatojoties uz atbilstību
  • Tiek rādīti ieteikumi, pamatojoties uz iepriekšējām darbībām

Problēma: Apkopot visus datus nav viegli, jo dati tiek ģenerēti no dažādiem avotiem dažādos formātos



Risinājums: Viens no šīs problēmas risināšanas veidiem ir ziņojumapmaiņas sistēmas izmantošana. Ziņojumapmaiņas sistēmas nodrošina nevainojamu integrāciju starp izplatītajām lietojumprogrammām ar ziņojumu palīdzību.

apache-kafka-next-generation-distributed-messaging-system

Apache Kafka:



Apache Kafka ir izplatīta abonēšanas ziņojumapmaiņas sistēma, kas sākotnēji tika izstrādāta LinkedIn un vēlāk kļuva par daļu no Apache projekta. Kafka ir ātrs, veikls, pielāgojams un izplatīts pēc dizaina.

Kafka arhitektūra un terminoloģija:

Temats : Ziņojumu straumi, kas pieder konkrētai kategorijai, sauc par tēmu

Ražotājs: Ražotājs var būt jebkura lietojumprogramma, kas var publicēt ziņojumus par tēmu

Patērētājs: Patērētājs var būt jebkura lietojumprogramma, kas abonē tēmas un patērē ziņojumus

kas ir jit kompilators java

Brokeris: Kafka kopa ir serveru kopums, no kuriem katru sauc par brokeri

Kafka ir mērogojama un ļauj izveidot vairāku veidu kopas.

  • Viena mezgla viena brokera kopa
  • Viena mezgla vairāku brokeru kopa
  • Vairāki mezgli Vairāku brokeru kopa

Viena mezgla viens brokeris

Kāda ir ZooKeeper loma?

komentāru veidi java

Katrs Kafka brokeris sadarbojas ar citiem Kafka brokeriem, izmantojot ZooKeeper. ZooKeeper dienests paziņo ražotājiem un patērētājiem par jaunu brokeru klātbūtni vai brokera kļūmi sistēmā Kafka.

Viena mezgla vairāki brokeri

Vairāki mezgli Vairāki brokeri

Kafka @ LinkedIn

LinkedIn Newsfeed nodrošina Kafka

LinkedIn ieteikumus nodrošina Kafka

LinkedIn paziņojumus nodrošina Kafka

Piezīme: Bez tam, LinkedIn izmanto Kafka daudziem citiem uzdevumiem, piemēram, žurnāla uzraudzībai, veiktspējas rādītājiem, meklēšanas uzlabošanai.

Kas vēl lieto Kafka?

DataSift: DataSift izmanto Kafka kā uzraudzības notikumu apkopotāju un reāllaikā izsekotu lietotāju datu plūsmu patēriņu

Wooga: Wooga izmanto Kafka, lai apkopotu un apstrādātu izsekošanas datus no visām savām Facebook spēlēm (kuras mitina dažādi pakalpojumu sniedzēji) centrālā vietā

Spongecell: Spongecell izmanto Kafka, lai palaistu visu analīzi un uzraudzības cauruļvadu, vadot gan reāllaika, gan ETL lietojumprogrammas

Loggly: Loggly ir pasaulē populārākā mākoņdatošanas žurnālu pārvaldība. Tā izmanto Kafka baļķu savākšanai.

Salīdzinošais pētījums: Kafka pret ActiveMQ pret RabbitMQ

Kafka ir efektīvāks krātuves formāts. Vidēji katram ziņojumam ir 9 baitu papildu izmaksas Kafka, salīdzinot ar 144 baitiem programmā ActiveMQ.

Gan ActiveMQ, gan RabbitMQ starpnieki saglabā katra ziņojuma piegādes stāvokli, rakstot uz disku, bet Kafka gadījumā diska rakstīšanas nav, tādējādi padarot to ātrāku.

Java programmas pamatstruktūra

Ar plašu Kafka ieviešanu ražošanā tas izskatās daudzsološs risinājums reālās pasaules problēmu risināšanai. Apache Kafka apmācība var palīdzēt apsteigt vienaudžus reāllaika analītiķu karjerā. Sāciet ar Apache Kafka apmācību šeit .

Vai mums ir jautājums? Lūdzu, pieminējiet to komentāru sadaļā, un mēs ar jums sazināsimies.

Saistītās ziņas:

Kas nepieciešams karjerai reāllaika analīzē