In diesem Blog erfahren Sie, wie Sie Spark für eine bestimmte Hadoop-Version erstellen.
Wir werden auch lernen, wie man Spark mit HIVE und YARN baut.
Beispiel für ein Selenium Webdriver Testng Framework
In Anbetracht dessen, dass Sie haben Hadoop, jdk, mvn und gehen auf Ihrem System vorinstalliert und vorkonfiguriert.
Öffnen Mozilla-Browser und herunterladen Funke mit dem folgenden Link.
https://edureka.wistia.com/medias/k14eamzaza/
Terminal öffnen.
Befehl: tar -xvf Downloads / spark-1.1.1.tgz
Befehl: ls
Öffnen Sie das Verzeichnis spark-1.1.1.
Du kannst öffnen pom.xml Datei. Diese Datei enthält Informationen zu allen Abhängigkeiten du brauchst.
Bearbeiten Sie es nicht, um Probleme zu vermeiden.
Befehl: cd spark-1.1.1 /
Befehl: sudo gedit sbt / sbt-launch-lib.bash
Bearbeiten Sie die Datei wie folgt, speichern Sie sie und schließen Sie sie.
Wir reduzieren den Speicher, um Probleme mit dem Speicherplatz des Objektheaps zu vermeiden, wie im folgenden Schnappschuss erwähnt.
Führen Sie nun den folgenden Befehl im Terminal aus, um einen Funken für Hadoop 2.2.0 mit HIVE und YARN zu erstellen.
Befehl: ./sbt/sbt -P Garn -P Bienenstock -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests Versammlung
Hinweis: Meine Hadoop-Version ist 2.2.0. Sie können sie entsprechend Ihrer Hadoop-Version ändern.
Für andere Hadoop-Versionen
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x.
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X.
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X.
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Das Kompilieren und Verpacken dauert einige Zeit. Warten Sie, bis der Vorgang abgeschlossen ist.
Zwei Gläser Funkenanordnung-1.1.1-hadoop2.2.0.jar und spark-examples-1.1.1-hadoop2.2.0.jar wird erstellt.
Weg des Funkenanordnung-1.1.1-hadoop2.2.0.jar :: /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Weg des spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Herzlichen Glückwunsch, Sie haben Spark for Hive & Yarn erfolgreich erstellt.
Hast du eine Frage an uns? Bitte erwähnen Sie sie in den Kommentaren und wir werden uns bei Ihnen melden.
Zusammenhängende Posts:
Apache Spark mit Hadoop-Warum ist das wichtig?