Als ich jünger war, liebte ich die Star Wars-Filmreihe. Ich habe es so sehr geliebt, dass ich diese Videokassette von jedem einzelnen hatte. Ich habe sie immer und immer wieder beobachtet. Dann kam die Zeit der DVD-Player und ich musste diese Filme wieder auf DVD bekommen. Ich hatte keine Bedenken, das gesamte Set wieder auf DVD zu kaufen, da ich die neue Technologie erleben und auch weiterhin meine Lieblingsfilme genießen wollte. Die Dinge waren großartig, bis eine weitere neue Technologie, Blu-ray, auf den Markt kam. Nachdem ich die Filme bereits zweimal gekauft hatte, freute ich mich nicht darauf, sie noch einmal zu kaufen. Für einige Zeit habe ich mich nicht bemüht, mich selbst zu 'aktualisieren', da ich dachte, dass ich ohne diese Technologie gut zurechtkommen würde. Und ich habe es gut gemacht. Es hat mein Leben sowieso nicht beeinflusst. Aber ich konnte eine Trendwende feststellen und meine Filme nicht mit meinen Freunden teilen, wie sie es miteinander taten. Ich fühlte mich wirklich ausgeschlossen.
Ich bin endlich rausgegangen und habe den Film auf Blu-ray bekommen. Ich erinnere mich nicht daran, weil ich den Film liebe, sondern daran, dass die Qualität des Videos umwerfend war. Und um das Ganze abzurunden, habe ich alle Filme auf einer einzigen Blu-ray-Disc gespeichert.
Das Bedürfnis oder der Drang, auf dem Laufenden zu bleiben, ist in unserem Beruf am größten, da die Risiken größer sind. Es ist wichtig geworden, den Überblick über Ihr Spiel zu behalten.
4 praktische Gründe für das Erlernen von Hadoop 2.0:
So unvermeidlich es auch sein mag, in unserem Beruf auf dem neuesten Stand zu bleiben, ist zu einem wichtigen Teil unseres Lebens geworden. So entmutigend es auch klingen mag, es besteht kein Grund zur Besorgnis, da sich Technologien nicht so schnell oder drastisch ändern. Aber die Gespräche und Informationen über diese Technologien und die Dinge, die wir damit machen können, gewinnen an Sichtbarkeit. Hier sind einige Gründe, warum Sie auf dem Laufenden bleiben sollten:
# 1: Lass dich nicht erwischen
Wenn Sie nicht auf das neueste Update einer Technologie achten, können Sie wie ein Reh aussehen, das im Scheinwerferlicht gefangen ist. Nicht gerade ein strahlendes Bild Ihrer beruflichen Fähigkeiten. Wenn Sie auf dem neuesten Stand sind, werden Sie von Ihren Kollegen für Ihre beruflichen Fähigkeiten respektiert. Möglicherweise müssen Sie nicht jedes neue Element implementieren, aber Sie müssen sich der Aktualisierungen bewusst sein.
Wenn beispielsweise über Hadoop gesprochen wird, können Sie Ihren Kollegen mitteilen, dass der Hadoop 2.5.0 bei Verwendung eines HTTP-Proxyservers Authentifizierungsverbesserungen aufweist. Und auch in derselben Version von Hadoop ist vorgesehen, direkt in Graphite zu schreiben.
Wenn Unternehmen über eine Migration auf Hadoop nachdenken, ist es wichtig, stets über die neuesten Updates informiert zu sein. Und „Wissen“ kann einen großen Unterschied für Ihre Karriere bedeuten.
# 2: Wettbewerbsvorteile
Fachleute auf ihrem Gebiet werden respektiert. Und auf dem neuesten Stand zu bleiben ist der beste Weg, um an der Spitze zu sein. Ihr Bedürfnis, auf dem Laufenden zu bleiben, spiegelt Ihre Leidenschaft für Ihren Job wider. Durch die Entwicklung von Fachwissen in Ihrem Beruf und Ihrer Branche gewinnen Sie das Vertrauen und den Respekt der Menschen in Ihrer Umgebung. Aus Sicht der Führung ist dies von unschätzbarem Wert!
Selbst wenn Ihre Organisation noch mit Hadoop 1.0 arbeitet, bleiben Sie auf dem Laufenden, wenn Sie die neuesten Funktionen von Hadoop 2 kennen, da es relativ neu und definitiv besser ist. Wenn Sie der Erste sind, der dies lernt, haben Sie einen Vorteil gegenüber Ihren Kollegen.
# 3: Neue Möglichkeiten
Es ist eine traurige Realität, dass sich unsere derzeitige Rolle ständig ändert. Mit der Zeit kommen zusätzliche Verantwortlichkeiten und Möglichkeiten, neue Aufgaben zu erledigen. Wenn Sie über Branchentrends auf dem Laufenden bleiben, sind Sie am besten in der Lage, diese Chancen zu nutzen.
Unternehmen wie Macy's, Lockheed Martin, Creative Solutions in Kalifornien, Capital One, CSpring, CACI International Inc., Oracle, Yahoo! American Express, BlueHawk, Aetna, das Lawrence Livermore National Laboratory und viele mehr suchen Mitarbeiter mit den neuesten Funktionen von Hadoop 2, wie YARN.
# 4: Bessere Entscheidungen treffen
Mit den zusätzlichen Informationen können Sie fundierte Entscheidungen treffen und bessere Entscheidungen treffen. Es wird Ihnen helfen, Chancen zu erkennen und die Strategie Ihres Unternehmens aufzuwerten.
Hadoop 2 verfügt über Funktionen, die die Geschwindigkeit verbessern und die Kosten senken. Das Vorschlagen von Optionen zur Verbesserung der Leistung und zur Erhöhung der Geschwindigkeit kann die Produktivität des Unternehmens definitiv steigern. Hier sind einige Funktionen von Hadoop 2, die der Organisation zugute kommen und die vorschlagen, dass sie auch Ihre Karriere fördern.
Unterstützung für die Ausführung von Hadoop unter Microsoft Windows
Vereinfachte Verteilung von MapReduce-Binärdateien über HDFS im verteilten YARN-Cache.
SSI-Tutorial für Anfänger 2012 mit Beispielen
Verbesserte Unterstützung für neue Anwendungen auf YARN mit Application History Server und Application Timeline Server
Vollständige HTTPS-Unterstützung in HDFS
Kerberos-Integration für den YARN-Timeline-Speicher.
Unterstützung für heterogene Speicherhierarchie in HDFS.
In-Memory-Cache für HDFS-Daten mit zentraler Verwaltung und Verwaltung.
Vereinfachte Verteilung von MapReduce-Binärdateien über HDFS im verteilten YARN-Cache.
Es gibt mehr als nur praktische Gründe, um auf dem Laufenden zu bleiben. Es gibt auch technische Gründe. Hadoop verfügt über zahlreiche Funktionen, die für Unternehmen von Vorteil sind. Wenn Sie sie sich genauer ansehen, erhalten Sie ein klares Bild von den Vorteilen.
Was ist das neueste Update in Hadoop?
Jedes Produkt durchläuft verschiedene Phasen der Veröffentlichung und entwickelt verschiedene Versionen von sich. Hadoop ist keine Ausnahme und hat Hadoop 2.0 entwickelt. Die Apache Foundation hat nachfolgende Versionen von Hadoop wie Hadoop 2.1.0, Hadoop 2.4.0 entwickelt und Hadoop 2.5.1 erreicht, die neueste Version, die im September 2014 veröffentlicht wurde.
Warum wurde Hadoop 2 veröffentlicht?
Mit der neuen Version kommen zusätzliche Funktionen und behobene Fehler. Jedes Mal, wenn Sie eine bestimmte Version von Hadoop verwenden und der Meinung sind, dass eine bestimmte Funktion hinzugefügt werden kann oder einige Fehler behoben werden müssen, informieren Sie die Mitarbeiter der Apache Foundation darüber. Diese Leute arbeiten wiederum daran und geben Ihnen in der nächsten Version ein besseres Produkt.
Hadoop 2 - Nicht nur eine Zahl
Hadoop 2 ist nicht nur die neueste Version von Hadoop. Im Großen und Ganzen handelt es sich um eine Architektur der zweiten Generation. Arun Murthy, Gründer und Architekt des Hadoop-Distributors Hortonworks, besteht darauf, dass die Unterscheidung wichtig ist, da der Aufwand für die Umgestaltung von Hadoop über die Stapelverarbeitung hinaus in die Welt der Echtzeitanalyse erheblich war.
Lassen Sie uns diskutieren, wie unterschiedlich Hadoop 2.0 von seinem Vorgänger Hadoop 1.0 ist. Offensichtlich wird die später veröffentlichte Version der früheren Version überlegen sein. Im Folgenden sind die vier wichtigsten Verbesserungen von Hadoop 2.0 gegenüber Hadoop 1.x aufgeführt:
HDFS Federation - Horizontale Skalierbarkeit von NameNode
Hochverfügbarkeit von NameNode - NameNode ist kein Single Point of Failure mehr
YARN - Möglichkeit zur Verarbeitung von Terabyte und Petabyte an in HDFS verfügbaren Daten mit Non-MapReduce-Anwendungen wie MPI, GIRAPH
Ressourcenmanager - Teilt die beiden Hauptfunktionen von überlastetem JobTracker (Ressourcenverwaltung und Jobplanung / -überwachung) in zwei separate Dämonen auf: einen globalen Ressourcenmanager und ApplicationMaster pro Anwendung
Es gibt zusätzliche Funktionen wie Capacity Scheduler (Unterstützung der Mandantenfähigkeit in Hadoop aktivieren), Daten-Snapshot, Unterstützung für Windows und NFS-Zugriff, die eine verstärkte Einführung von Hadoop in der Branche zur Lösung von Big Data-Problemen ermöglichen.
Hadoop 2.X gegen Hadoop 1.X.
Lassen Sie uns einen kleinen Vergleich anstellen und sehen, inwiefern Hadoop 2.0 besser ist und sich von Hadoop 1.0 unterscheidet
Warum wird Hadoop 2 gegenüber Hadoop 1.0 bevorzugt?
Hadoop 2.0 bietet Leistungsverbesserungen, die verwandten Technologien im Hadoop-Ökosystem zugute kommen. Neben den bahnbrechenden Funktionen von HDFS und der Architektur der zweiten Generation (YARN) gibt es immer mehr Gründe, Hadoop 2 Hadoop 1.0 vorzuziehen:
Hadoop 2 unterliegt keinen Spracheinschränkungen mehr. Das heißt, eine breite Palette von Fachleuten kann jetzt Hadoop verwenden.
Mit Hadoop 2 werden Hindernisse wie der Mangel an MapReduce-Codierern überwunden.
2 mal schneller als Hadoop 1.0
2-facher ROI bei vorhandener Hardware.
Mit YARN ist die Schnittstelle zur Anwendungsprogrammierung viel offener und flexibler.
Hadoop 2 erweitert die Möglichkeiten zur Verwendung von Hadoop in Big Data-Projekten.
Wie benutzt man Logger in Java?
Mit Hadoop 2 können Entwickler jetzt eine Vielzahl von Datenverarbeitungsaufgaben ausführen, die über den bisherigen Umfang der Stapelverarbeitung von Hadoop hinausgehen.
Bietet neue Möglichkeiten für Informationsmanager und behebt Mängel in früheren Versionen.
Diese neue Version bietet die einzigartige Funktion, mehrere Workloads auf demselben Hadoop-Cluster auszuführen.
Hadoop ist nicht mehr auf eine Funktion beschränkt. Die Anwendung geht jetzt über HDFS und MapReduce hinaus.
Hauptvorteile von YARN
Wir sind uns bewusst, dass YARN eine Architektur der zweiten Generation ist. Mal sehen, was es so großartig macht.
Rahmen
Neue Programmiermodelle und -dienste
Verbesserte Cluster-Nutzung
Beweglichkeit
Viel mehr als Java
Und viele mehr
Nachfrage nach Hadoop 2-Fähigkeiten
Unternehmen starten oder experimentieren jetzt mit Hadoop 2. Folglich besteht ein Bedarf an Fachleuten, die mit Hadoop 2 vertraut sind. Viele Unternehmen haben bereits begonnen, intern nach Mitarbeitern für die Arbeit mit Hadoop zu suchen. Es gibt klare Anzeichen dafür, dass YARN auf dem Vormarsch ist und letztendlich die Nachfrage nach MapReduce-Fähigkeiten ersetzen wird.
Hier einige Ansichten zur aktuellen und prognostizierten Nachfrage nach Hadoop-Fähigkeiten:
Laut Analysten von Gartner ist Hadoop 2 eine wichtige Entwicklung, da große Unternehmen auf der ganzen Welt festgestellt haben, dass Hadoop das Big-Data-Management grundlegend verändert.
Laut Eric Kavanagh von der Bloor-Gruppe hat Hadoop 2.0 bei Informationsarbeitern, die sich mit Big Data auseinandersetzen wollen, an Bedeutung gewonnen.
Die Einführung von Hadoop 2.0 nimmt weiter zu und befindet sich nun in der Reifephase.
Unternehmen sind sich der Vorteile von YARN bewusst und freuen sich darüber.
Hier ist eine Momentaufnahme der offenen Stellen für Hadoop 2.0 / YARN in Indeed.com
Wer wechselt zu Hadoop 2 oder hat bereits?
Yahoo:
Yahoo! , der Marktführer in allen Bereichen, in denen Hadoop YARN (0.23.x) implementiert hat. Laut Murthy verarbeitet der 35.000-Knoten-Cluster von Yahoo jetzt 130 bis 150 Jobs pro Tag, verglichen mit 50 bis 60 vor YARN.
Wenn Murthy über die herausragende Leistung spricht, zitiert er: 'Wenn Sie 2x über 35.000 bis 40.000 Knoten haben, ist das phänomenal.' Er fügte hinzu: 'Es ist eine ziemlich überzeugende Geschichte, einem CIO zu sagen, dass Sie bei einem Upgrade Ihrer Software von Hadoop 1 auf Hadoop 2 zweimal Durchsatzverbesserungen in Ihren Jobs feststellen können.'
Ebay:
eBay verfügt über einen der größten Hadoop-Cluster der Branche, in dem die Daten in Petabyte angegeben sind. Sie haben auch ihre Cluster auf Hadoop 2 migriert.
Casting Double zu Int in Java
Fazit:
Da Hadoop 2 ausgereift und einfacher zu implementieren ist, überzeugen sie sogar die Skeptiker und immer mehr Unternehmen migrieren auf Hadoop 2.0. Es gibt triftige Gründe, die 1.x-Versionen zu vermeiden. Aber mit Hadoop 2 ziehen es sogar die Ungläubigen in Betracht, da es für eine Vielzahl von Anwendungen verwendet werden kann. Wenn Sie Hadoop 2.0 lernen und es implementieren, um Berechnungen für Big Data durchzuführen, öffnen Sie die Tore für eine technisch fortgeschrittene und finanziell lohnende Karriere.
Hast du eine Frage an uns? Bitte erwähnen Sie sie in den Kommentaren und wir werden uns bei Ihnen melden.
Zusammenhängende Posts: