Beispiele für Bienenstöcke und Garne bei Spark



In diesem Blog werden wir Hive and Yarn-Beispiele für Spark ausführen. Erstellen Sie zuerst Hive and Yarn auf Spark, und dann können Sie Hive and Yarn-Beispiele auf Spark ausführen.

Wir haben gelernt, wie es geht Bauen Sie Bienenstock und Garn auf Funken . Probieren wir nun Hive and Yarn-Beispiele für Spark aus.





Learn-Spark-Now

Hive-Beispiel für Spark

Wir werden ein Beispiel für Hive on Spark ausführen. Wir werden eine Tabelle erstellen, Daten in diese Tabelle laden und eine einfache Abfrage ausführen. Wenn man mit Hive arbeitet, muss man a konstruieren HiveContext was erbt von SQLContext .



Befehl: cd spark-1.1.1

Befehl: ./bin/spark-shell



Erstellen Sie eine Eingabedatei 'Stichprobe' in Ihrem Home-Verzeichnis wie unten Schnappschuss (Tab getrennt).

Verwendung von system.exit in Java

Befehl: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)

Befehl: sqlContext.sql ('TABELLE ERSTELLEN, WENN KEIN EXISTIERT Test (Name STRING, Rang INT) REIHENFORMAT BEGRENZTE FELDER BEENDET DURCH' LINIEN BEENDET DURCH '
‘”)

Befehl: sqlContext.sql ('LOAD DATA LOCAL INPATH' / home / edureka / sample 'INTO TABLE-Test')

Befehl: sqlContext.sql (“SELECT * FROM test WHERE Rang<5”).collect().foreach(println)

Garnbeispiel am Funken

Wir werden das SparkPi-Beispiel auf Yarn ausführen. Wir können Yarn on Spark in zwei Modi bereitstellen: im Cluster-Modus und im Client-Modus. Im Garncluster-Modus wird der Spark-Treiber in einem Anwendungsmasterprozess ausgeführt, der von Yarn im Cluster verwaltet wird, und der Client kann nach dem Initiieren der Anwendung entfernt werden. Im Garn-Client-Modus wird der Treiber im Client-Prozess ausgeführt, und der Anwendungsmaster wird nur zum Anfordern von Ressourcen von Garn verwendet.

Befehl: cd spark-1.1.1

Befehl: SPARK_JAR =. / Assembly / target / scala-2.10 / spark -embly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

Nachdem Sie den obigen Befehl ausgeführt haben, warten Sie bitte einige Zeit, bis Sie ihn erhalten ERFOLGREICH Botschaft.

Durchsuche localhost: 8088 / cluster und klicken Sie auf die Spark-Anwendung.

So initialisieren Sie eine Klasse in Python

Klicke auf Protokolle .

Was ist Chef in Devops

Klicke auf stdout um die Ausgabe zu überprüfen.

Um Yarn on Spark im Client-Modus bereitzustellen, machen Sie einfach –Employ-Modus wie 'Klient'. Jetzt wissen Sie, wie man Hive and Yarn auf Spark baut. Wir haben auch Praktika gemacht.

Hast du eine Frage an uns? Bitte erwähnen Sie sie in den Kommentaren und wir werden uns bei Ihnen melden.

zusammenhängende Posts

Apache Spark mit Hadoop-Warum ist das wichtig?

Hive & Yarn werden durch Funken elektrifiziert