Apache Falcon: Neue Datenverwaltungsplattform für das Hadoop-Ökosystem



Apache Falcon ist eine neue Datenverwaltungsplattform für das Hadoop-Ökosystem, die die Onboarding-Feed-Verarbeitung und das Feed-Management in Hadoop-Clustern vereinfacht. Erfahren Sie, wie Sie es einrichten.

Apache Falcon ist ein Framework zum Verwalten des Datenlebenszyklus in Hadoop-Clustern. Es stellt die Beziehung zwischen verschiedenen Daten und Verarbeitungselementen in einer Hadoop-Umgebung her und bietet außerdem Feed-Management-Services wie Feed-Aufbewahrung, Replikationen über Cluster hinweg, Archivierung usw.





Lassen Sie uns zunächst diskutieren, wie Apache Falcon eingerichtet wird. Führen Sie den folgenden Befehl aus, um das Git-Repository von Falcon herunterzuladen:

Befehl: Git-Klon https://git-wip-us.apache.org/repos/asf/falcon.git Falcon



git-command-apache-falcon

Um Falcon auszuführen, müssen Sie ihn zuerst erstellen.

Befehl: CD-Falke



Befehl: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn Neuinstallation -DskipTests

Befehl: mvn saubere Assembly: Assembly -DskipTests -DskipITs

Sobald Sie Falcon erstellt haben, finden Sie ein Falcon-Paket im Verzeichnis / falcon / distro / target /.

Die Befehle zum Erstellen von Falken sehen sehr einfach aus, aber Sie werden mit vielen Problemen konfrontiert sein, bevor die Meldung 'Erfolgreich erstellen' angezeigt wird. Beim Erstellen für Hadoop-2.2.0 gab es viele Probleme

Um den Aufwand beim Erstellen von Falcon zu überspringen, gebe ich Ihnen ein erfolgreich erstelltes Falcon-Paket, das Sie über den folgenden Link herunterladen können.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Entpacken Sie die Datei, um das Verzeichnis falcon-0.10 zu erhalten.

Befehl: entpacke falcon-0.10-SNAPSHOT.zip

Legen Sie die Flacon-Umgebungsvariablen in der .bashrc-Datei fest.

Befehl: sudo gedit .bashrc

Befehl: Quelle .bashrc

Sie können in das Falcon-Verzeichnis gehen und die darin enthaltenen Dateien und Verzeichnisse anzeigen.

Befehl: cd falcon-0.10-SNAPSHOT /

Befehl: ls

Sie finden Falcon-Skripte im bin-Verzeichnis.

Führen Sie den folgenden Befehl aus, um Falcon zu starten.

Befehl: ./bin/falcon-start

Sie sehen jetzt einen neuen Daemon FalconServer.

Befehl: jps

Befehl: ./bin/falcon admin -version

Was ist Sas Programmiersprache

Öffnen Sie Ihren Browser und gehen Sie zu localhost: 15000 . Sie können Falcon Web-Benutzeroberfläche sehen.

Hast du eine Frage an uns? Erwähnen Sie sie im Kommentarbereich und wir werden uns bei Ihnen melden.

Zusammenhängende Posts:

Drilldown auf Apache Drill