Wenn Sie bereits von der IT Industrie müssen Sie sich dessen bewusst sein Große Daten ist das Gespräch des Tages. Sei es, neue Startups, die innovative Geschäftsmodelle entwickeln, oder Ihre Kollegen, die aus irgendeinem Grund heute zu diesen Startups wechseln grünere Weiden scheinen die zu sein Große Daten Industrie.
Wenn Sie sich fragen, warum, dann empfehle ich Ihnen, dies bis zum Ende zu lesen, da dies ein sich selbst erforschender Blog sein kann, der Sie zu dem führt, wofür Sie bestimmt sind.
Also, warum das alles?HYPEUmgebung GROSSE DATEN?
Ist es nur eine andere Domäne, die vorübergehend Flüchtlinge aus allen anderen Domänen landen wird? Oder wird es auf lange Sicht hier sein?
Wenn ich raten würde, würde ich sagen, dass es nicht nur auf lange Sicht hier sein wird, sondern dass die Big-Data-Branche im Epizentrum des technologischen Fortschritts stehen wird.
Weil sich alles drehtDATEN!
Genau wie die Sonnesteigt anvon demOstenundsetztin demWestenDie kontinuierliche Verwendung von Computer- / Nicht-Computergeräten führt zu einem Ausbruch nicht verwaltbarer Daten.
Wenn diese Daten die Schwelle überschreiten, von Excel oder einem anderen Datenbankverwaltungssystem verarbeitet zu werden, bezeichnen wir sie GROSSE DATEN .
Überlegen Sie, welches Produkt haben Sie zuletzt bei Amazon gekauft? Welches kann das nächste Produkt sein, das Sie aufgrund früherer Aktivitäten kaufen könnten? Antworten auf solche Fragen werden in Big Data gespeichert.
Gibt es einen wachsenden Trend hinter einem Produkt? Oder gibt es einen rückläufigen Trend? Kauft ein Kunde 'Strümpfe', wenn er 'Schuhe' kauft? Dies sind geschäftliche Problemlösungsfragen.
Und diese Fragen können leicht sein antwortete durch die Nutzung Big Data Analytics .
Was ist die Verwendung von Daten, wenn Sie dies nicht tun? Analysieren es?
Big Data auchganz überAnalytik?Nicht vollständig, aber Analytics ist der ultimative Preis.
Andere wichtige Streams in Big Data sindLagerundManagement.
Hier können Sie als Profi einen Beitrag leisten. Sie können die Rolle von entweder übernehmen:
- Big Data Engineer
- Big Data Solution Architect
Stellen Sie außerdem sicher, dass die generierten Big Data immer verfügbar sind und zu einem späteren Zeitpunkt für Analysen verwendet werden können. Das bringt uns also zur Frage & Hölle
Wo wird Big Data gespeichert?
Kann es in einem gespeichert werdenExcel-Datei? Kann es in einem gespeichert werdenrelationales Datenbanksystem?
Auf keinen Fall!
Wenn es hätte sein können, dann wäre es gewesen!
Und alles zusammen etwas anderes genannt werden. Vielleicht so etwas wieExcel-DatenoderRDBMS-Daten: D.
Und das würde uns zurückbringen SCHRITT 1 : - Warum kann Big Data nicht mit Excel verwaltet werden? weilBig Data ist für Excel einfach zu heiß. Und sogar andere Datenbankverwaltungssysteme.
Also, was ist die Alternative?
lerne ssis Schritt für Schritt
Für den Umgang mit Big Data haben wir HADOOP . Möglicherweise kennen Sie dieses Wort auch. Aber Sie fragen sich vielleicht, wie genau das funktioniert?
Für den Anfang ist HADOOP ein Produkt vonAPACHE-Stiftung. Apache ist eine amerikanische gemeinnützige Organisation, die die Entwicklung von Open-Source-Software unterstützt.
Hadoop ist als Open-Source-Java-basiertes Programmierframework definiert, das die Verarbeitung und Speicherung extrem großer Datenmengen in einer verteilten Computerumgebung unterstützt.
Was kann Hadoop, Excel jedoch nicht?
Unstrukturierte Daten verarbeiten und verstehen!Strukturierte Daten, die tabellarisch oder anderweitig vorliegen, können problemlos verarbeitet werden. Excel kann dies, ebenso wie jedes andere RDBMS.
Wenn jedoch die Lesbarkeit abnimmt und die Daten unstrukturiert sind, ist Big Data genau das RichtigeWerkzeuge wie HadoopErgebnis. Ein Beispiel für unstrukturierte Daten ist Syslog . Ein Beispielbild ist unten.
Solche Protokolle können mit Excel definitiv nicht abgefragt werden.
Hadoop kann wie Big Data-Tools Daten so verstehen, wie sie sind, indem Muster aufgedeckt und Beziehungen zwischen verschiedenen Bereichen hergestellt werden. Und sobald die Daten einen relationalen Touch haben, ist dies der FallAnalytics-fähig.
Analytics wirkt sich auf ein Unternehmen aus! Ihre Karriere wird in hohem Maße von der Beteiligung an dieser Big-Data-Domäne profitieren.
'' Kann ich es als Hadoop-er schaffen? ''
… Könnte die nächste Frage in Ihrem Kopf sein. Und zu Recht gedacht, ist Big Data ein Markt, der so heiß wie immer und so wichtig wie immer ist.
Ohne Hadoop wird es Unternehmen schwer fallen, mit Big Data umzugehen. Und ohne qualifizierte Fachkräfte wie Sie wird es Unternehmen schwer fallen, mit Hadoop umzugehen.
Es gibt einen Bericht, der besagt, dass es in diesem Bereich ein Talentdefizit gibt. Talentdefizit bedeutet weniger Fachkräfte, aber hohe Nachfrage. Und dies ist auf globaler Ebene und nicht auf eine bestimmte Geografie beschränkt.
Willst du Zahlen?
ZU McKinsey Global Institute Laut einer Studie werden in den USA bis 2018 rund 190.000 Datenwissenschaftler und 1,5 Millionen Manager und Analysten fehlen, die Big Data verstehen und Entscheidungen treffen können.
Karriereberatung für Sie? Surfen Sie bei Ebbe!
Aber bist du? beschränkt nur zu Hadoop ?
Nicht wirklich. Es gibt eine Reihe von Tools für die Verarbeitung von Big Data, und Hadoop gilt als eines der besten. Aber nicht jedes Mal!
Es gibt Zeiten, in denen Hadoop nicht am besten passt. Zum Beispiel, wenn Sie eine nicht technische Person sind, die nicht sehr gut MapReduce-Programme schreiben kann.
In solchen Fällen können Sie verwendenTALENDHiermit erhalten Sie eine grafische Benutzeroberfläche, mit der Sie alles tun können, was Sie sonst mit MapReduce getan hätten.
Zum Schreiben einfacherer Java-Codes können Sie verwendenSCHWEIN.
Wenn Sie SQL-ähnliche Abfragen für Big Data ausführen möchten, dannBIENENSTOCKkann verwendet werden.
Wenn Sie Daten verwenden möchten, die in einer NoSQL-Datenbank gespeichert sind, dannHBasekann verwendet werden.
Für die Durchführung von Analysen in Echtzeit können Sie verwendenFUNKE.
Hierbei handelt es sich um Big-Data-Tools, die mit Hadoop Hand in Hand gehen, Hadoop jedoch nicht ersetzen. Sie sind Hadoop-Add-Ons für Big Data.
Außerdem gibt es einige weitere Tools wie SQOOP, FLUME, OOZIE usw., die in das Hadoop-Framework integriert werden können, um verschiedene Geschäftsprobleme zu lösen.
Was erwartet die Branche von Ihnen als Big Data-Experte?
Die Branche braucht dringend GROSSE DATENARCHITEKTEN Wer kann eine End-to-End-Big-Data-Lösung für sein Unternehmen erstellen? Big Data-Architekten sind diejenigen mit Fachkenntnissen in allen zuvor genannten Tools.
Hier ist ein Zeugnis eines Edureka-Lernenden Kurs:
Etwas werden Ausgehend von Edurekas Big Data- und Hadoop-Zertifizierungstraining, das den Lernenden hilft, Experten für HDFS, Garn, MapReduce, Schwein, Bienenstock, HBase, Oozie, Flume und Sqoop zu werden, wobei Echtzeit-Anwendungsfälle in den Bereichen Einzelhandel, soziale Medien, Luftfahrt, Tourismus und Finanzen verwendet werden .
Wie konvertiere ich Binär in Dezimal in Java