Wie wir alle wissen, ist Hadoop der Aushängeschild von Big Data. Als Software-Framework, das elefantinische Datenanteile verarbeiten kann, hat Hadoop den Weg an die Spitze der CIO-Schlagworte gefunden.
Der beispiellose Anstieg des In-Memory-Stacks hat das Big-Data-Ökosystem jedoch zu einer neuen Alternative für die Analytik gemacht. Die MapReduce-Analysemethode wird durch einen neuen Ansatz ersetzt, der Analysen sowohl innerhalb als auch außerhalb des Hadoop-Frameworks ermöglicht. Apache Spark ist das neue Gesicht der Big Data-Analyse.
Kann ein Konstruktor privat sein?
Big-Data-Enthusiasten haben Apache Spark als die heißeste Datenberechnungs-Engine für Big Data der Welt zertifiziert. MapReduce und Java werden schnell aus ihren Positionen entfernt, und Jobtrends spiegeln diese Änderung wider. Laut einer Umfrage von TypeSafe evaluieren oder erforschen 71% der globalen Java-Entwickler derzeit Spark, und 35% von ihnen haben bereits damit begonnen. Derzeit sind Spark-Experten gefragt, und in den kommenden Wochen wird die Zahl der Stellenangebote im Zusammenhang mit Spark voraussichtlich nur noch steigen.
Was macht Apache Spark also so, dass es ganz oben auf der To-Do-Liste aller CIOs erscheint?
Hier sind einige der interessanten Funktionen von Apache Spark:
- Hadoop-Integration - Spark kann mit in HDFS gespeicherten Dateien arbeiten.
- Die interaktive Shell von Spark - Spark ist in Scala geschrieben und verfügt über eine eigene Version des Scala-Interpreters.
- Spark's Analytic Suite - Spark enthält Tools für die interaktive Abfrageanalyse, die Verarbeitung und Analyse von Grafiken in großem Maßstab sowie für die Echtzeitanalyse.
- Resilient Distributed Datasets (RDDs) - RDDs sind verteilte Objekte, die im Speicher über einen Cluster von Rechenknoten zwischengespeichert werden können. Sie sind die primären Datenobjekte, die in Spark verwendet werden.
- Verteilte Betreiber - Neben MapReduce gibt es viele andere Operatoren, die für RDDs verwendet werden können.
Organisationen wie die NASA, Yahoo und Adobe haben sich zu Spark verpflichtet. John Tripier, Alliances and Ecosystem Lead bei Databricks, sagt dazu: „Die Akzeptanz von Apache Spark bei großen und kleinen Unternehmen wächst in einer Vielzahl von Branchen mit unglaublicher Geschwindigkeit, und die Nachfrage nach Entwicklern mit zertifiziertem Fachwissen steigt schnell folgenden Anzug ”. Es gab noch nie einen besseren Zeitpunkt, um Spark zu lernen, wenn Sie einen Hintergrund in Hadoop haben.
Was ist ein Bufferedreader Java
Edureka hat speziell einen Kurs über Apache Spark & Scala kuratiert, der von Praktikern aus der Praxis mitgeschaffen wurde. In unserem Kurs finden Sie eine differenzierte Live-E-Learning-Erfahrung sowie branchenrelevante Projekte. Neue Chargen beginnen in Kürze. Schauen Sie sich den Kurs hier an: .
Hast du eine Frage an uns? Bitte erwähnen Sie es in den Kommentaren und wir werden uns bei Ihnen melden.
Zusammenhängende Posts:
Apache Spark gegen Hadoop MapReduce
Was sind Instanzvariablen in Java?