Einführung in Hadoop Job Tracker



Dies gibt einen Einblick in die Verwendung von Job Tracker

Ein wesentlicher Unterschied zwischen einem Hacker und einem ethischen Hacker ist:

Hadoop Job Tacker

Job Tracker ist der Master-Daemon für die Verwaltung von Jobressourcen und die Planung / Überwachung von Jobs. Es fungiert als Verbindung zwischen Hadoop und Ihrer Anwendung.





Der Prozess

Der Benutzer kopiert zuerst Dateien in das Distributed File System (DFS), bevor er einen Job an den Client sendet. Der Client empfängt dann diese Eingabedateien. Der Benutzer erhält die Teilungen oder Blöcke basierend auf den Eingabedateien.Der Kunde könnteErstellen Sie die Splits oder Blöcke in einem Mannner es bevorzugtda bestimmte Überlegungen dahinter stehen. Wenn eine Analyse der vollständigen Daten durchgeführt wird, teilen Sie die Daten in Teilungen auf. Dateien werden nicht über den Client kopiert, sondern mit flume oder Sqoop oder einem externen Client.

Sobald die Dateien in die DFS kopiert wurden und der Client mit der DFS interagiert,Die Teilungen führen ein MapReduce j ausob. Der Job wird über einen Job-Tracker übergeben. Der Job-Tracker ist der Master-Daemon, der auf demselben Knoten ausgeführt wirdläuftdiese mehreren Jobs auf Datenknoten. Diese Daten werden auf verschiedenen Datenknoten liegen, aber es liegt in der Verantwortung des Job Trackers, sich darum zu kümmern.



Nachdem ein Client eingereicht hatBeim Job-Tracker wird der Job in der Job-Warteschlange initialisiert und der Job-Tracker erstellt Karten und reduziert diese. Basierend auf dem Programm, das in der Kartenfunktion und der Reduzierungsfunktion enthalten ist, wird die Kartenaufgabe erstellt und die Aufgabe reduziert. Diese beiden werden auf den Eingabesplits ausgeführt. Hinweis: Bei der Erstellung durch die Clients enthält dieser Eingabesplit die gesamten Daten.

In jedem Eingabesplit wird ein Kartenjob ausgeführt, und die Ausgabe der Kartenaufgabe geht in die Reduzierungsaufgabe. Der Job-Tracker führt den Track für bestimmte Daten aus. Es kann mehrere Replikationen davon geben, so dass die lokalen Daten ausgewählt und die Aufgabe auf diesem bestimmten Aufgaben-Tracker ausgeführt werden. Der Task-Tracker ist derjenige, der die Task tatsächlich auf dem Datenknoten ausführt. Job Tracker wird die bestehenInformationan den Task-Tracker und der Task-Tracker führt den Job auf dem Datenknoten aus.

Was sind Namespaces in C ++?

Sobald der Job dem Task-Tracker zugewiesen wurde, ist jedem Task-Tracker und Job-Tracker ein Herzschlag zugeordnet. Es sendet Signale, um herauszufinden, ob die Datenknoten noch am Leben sind. Die beiden sind häufig synchron, da die Knoten möglicherweise ausgeblendet werden können.



Hast du eine Frage an uns? Erwähnen Sie sie im Kommentarbereich und wir werden uns bei Ihnen melden.

Zusammenhängende Posts:

Was ist ein Bufferedreader Java