Mezglu nodošana ekspluatācijā un ekspluatācijas pārtraukšana Hadoop klasterī

Vai zināt, kā pievienot vai noņemt mezglus Hadoop klasterī? Šis jums ir emuāra ziņojums - mezglu nodošana ekspluatācijā un ekspluatācijas pārtraukšana Hadoop klasterī.

Viena no Hadoop ietvara pievilcīgākajām iezīmēm ir tā preču aparatūras izmantošana . Tomēr tas izraisa biežas DataNode avārijas Hadoop klasterī. Vēl viena pārsteidzoša Hadoop Framework iezīme ir mēroga vieglums atbilstoši straujajam datu apjoma pieaugumam . Šo divu iemeslu dēļ viens no Hadoop administratora visizplatītākajiem uzdevumiem ir komisija (Pievienot) un ekspluatācijas pārtraukšana (Noņemt) datu mezglus Hadoop klasterī.

def __init__

Mezglu nodošana ekspluatācijā un ekspluatācijas pārtraukšana Hadoop klasterī:

Datu mezglu ekspluatācijas pārtraukšana (noņemšana) Hadoop klasterī



Augšējā diagrammā parādīts soli pa solim process DataNode ekspluatācijas pārtraukšanai klasterī.

Pirmais uzdevums ir atjaunināt izslēgt ‘Faili abiem HDFS (hdfs-site.xml) un MapReduce (mapred-site.xml).



Fails “izslēgt”:

  • darba meklētājam satur to saimniekdatoru sarakstu, kuri darba meklētājam būtu jāizslēdz. Ja vērtība ir tukša, neviens resursdators netiek izslēgts.
  • par Namenode satur to saimniekdatoru sarakstu, kuriem nav atļauts izveidot savienojumu ar Namenode.

Šeit ir faila hdfs-site.xml un mapred-site.xml izslēgšanas faila konfigurācijas paraugs:

hdfs-site.xml




dfs.hosts.exclude
/ home / hadoop / izslēdz
taisnība

mapred-site.xml


mapred.hosts.exclude
/ home / hadoop / izslēdz
taisnība

Piezīme: Jānorāda pilns failu ceļš.

Līdzīgi mums ir faili ‘iekļaut’:

  • darba meklētājam satur mezglu sarakstu, kas var izveidot savienojumu ar JobTracker. Ja vērtība ir tukša, visi resursdatori ir atļauti.
  • par Namenode satur to saimnieku sarakstu, kuriem ir atļauts izveidot savienojumu ar Namenode. Ja vērtība ir tukša, visi resursdatori ir atļauti.

dfsadmin ' un ' mradmin ’Komandas atsvaidzina konfigurāciju ar izmaiņām, lai viņi apzinātos jauno mezglu.

vergi Galvenā servera failā ir visu datu mezglu saraksts. Tas ir arī jāatjaunina, lai nodrošinātu jebkādus jautājumus nākotnē Hoopoop dēmons start / stop.

Svarīgs solis datu mezglu komisijas procesā ir palaist Cluster Balancer.

> hadoop balansētājs - slieksnis 40

Līdzsvarotājs mēģina nodrošināt līdzsvaru līdz noteiktam slieksnim starp datu mezgliem, kopējot bloku datus no vecākiem mezgliem uz jaunizveidotajiem mezgliem.

Tātad, jūs varat darīt šādi - Ekspluatācijā nodošana un Ekspluatācijas pārtraukšana Mezgli Hadoop klasterī.

Vai mums ir jautājums? Lūdzu, pieminējiet to komentāru sadaļā, un mēs ar jums sazināsimies.

Saistītās saites: