Informatica-Transformationen: Das Herz und die Seele von Informatica PowerCenter

Informatica-Transformationen sind Repository-Objekte, die Daten lesen, ändern oder an definierte Zielstrukturen wie Tabellen, Dateien oder andere erforderliche Ziele übergeben können. Eine Transformation wird im Wesentlichen verwendet, um eine Reihe von Regeln darzustellen, die den Datenfluss definieren und wie die Daten in die Ziele geladen werden. Informatica PowerCenter bietet mehrere Transformationen, die jeweils eine bestimmte Funktionalität erfüllen.Da Informatica heute der führende Markt für Datenintegrationsplattformen ist, sind Informatica-Transformationen ein entscheidendes Konzept .

Um Informatica-Transformationen besser zu verstehen, lassen Sie uns zunächst verstehen, was Mapping ist. Ein Mapping ist eine Sammlung von Quell- und Zielobjekten, die durch eine Reihe von Transformationen miteinander verbunden sind. Daher stellen Transformationen in einem Mapping die Operationen dar, die der Integrationsdienst während der Ausführung des Workflows für die Daten ausführt. Um den Workflow besser zu verstehen, können Sie unseren Blog lesen Informatica Tutorial: Workflow-Management

Was sind die verschiedenen Informatica-Transformationen?

Informatica-Transformationen können hauptsächlich in zwei Kategorien eingeteilt werden. Erstens basierend auf der Konnektivität (Verknüpfung in Zuordnung) der Transformationen untereinander und zweitens basierend auf der Änderung der Gesamtzahl der Zeilen zwischen Quelle und Ziel. Schauen wir uns zunächst die auf Konnektivität basierenden Informatica-Transformationen an.

1) Arten von Transformationen in Informatica basierend auf Konnektivität:

• Verbundene Transformationen.
• Nicht verbundene Transformationen.

In Informatica werden die Transformationen, die mit einer oder mehreren Transformationen verbunden sind, als bezeichnet Verbundene Transformationen .

Die verbundenen Transformationen werden verwendet, wenn für jede Eingabezeile eine Transformation aufgerufen wird und ein Wert zurückgegeben werden soll. Beispielsweise können wir eine verbundene Lookup-Transformation verwenden, um die Namen aller Mitarbeiter einer bestimmten Abteilung zu ermitteln, indem wir die Abteilungs-ID im Lookup-Ausdruck angeben.

Einige der wichtigsten verbundenen Informatica-Transformationen sind Aggregator, Router, Joiner, Normalizer usw.

Diejenigen Transformationen, die nicht mit anderen Transformationen verbunden sind, werden aufgerufen Nicht verbundene Transformationen .Ihre Funktionalität wird verwendet, indem sie in anderen Transformationen wie der Ausdruckstransformation aufgerufen werden. Diese Transformationen sind nicht Teil der Mapping-Pipeline.

Die nicht verbundenen Transformationen werden verwendet, wenn ihre Funktionalität nur unter bestimmten Bedingungen erforderlich ist.Als Programmierer möchten Sie beispielsweise eine komplizierte Operation an den Daten ausführenSie möchten keine Informatica-Transformationen wie Ausdrucks- oder Filtertransformationen verwenden, um diesen Vorgang auszuführen. In einem solchen Fall können Sie eine externe gemeinsam genutzte DLL- oder UNIX-Bibliothek mit den Codes erstellen, um den Vorgang auszuführen, und diese in der externen Prozedurtransformation aufrufen.

Es gibt 3 Informatica-Transformationen, nämlich. Externe Prozedur, Suche und gespeicherte Prozedur, die in einer gültigen Zuordnung nicht verbunden werden können (eine Zuordnung, die der Integration Service ausführen kann).

2) Arten von Informatica-Transformationen basierend auf der Änderung der Anzahl der Zeilen

• Aktive Transformationen
• Passive Transformationen

Aktive Transformationen ::- Eine aktive Transformation kann eine der folgenden Aktionen ausführen:

• Ändern Sie die Anzahl der Zeilen, die die Umwandlung durchlaufen: Beispielsweise ist die Filterumwandlung aktiv, da Zeilen entfernt werden, die die Filterbedingung nicht erfüllen.
• Ändern der Transaktionsgrenze: Eine Transaktionsgrenze ist eine Grenze, die alle Transaktionen umschließt, bevor ein Commit aufgerufen wird oder zwischen zwei Commit-Aufrufen. Beispielsweise hat der Benutzer während einer Transaktionsoperation das Gefühl, dass nach bestimmten Transaktionen ein Commit erforderlich ist, und ruft den Commit-Befehl auf, um einen Sicherungspunkt zu erstellen, und auf diese Weise ändert der Benutzer die Standardtransaktionsgrenze. Standardmäßig liegt die Transaktionsgrenze zwischen dem Start der Datei und dem automatischen Festschreibungspunkt oder EOF.
• Ändern des Zeilentypattributs: Das Zeilentypattribut ist ein Datensatztyp, der eine Zeile in einer Tabelle darstellt. Der Datensatz kann eine ganze Datenzeile speichern, die aus der Tabelle ausgewählt oder von einem Zeiger oder einer Zeigervariablen abgerufen wurde. Beispielsweise kennzeichnet die Aktualisierungsstrategie-Transformation den Zeilentyp als 0 zum Einfügen von Werten, 1 zum Aktualisieren, 2 zum Löschen oder 3 zum Zurückweisen.
• Aggregator, Filter, Joiner, Normalizer usw. sind einige Beispiele für die aktive Transformation.

Passive Transformation : Eine passive Transformation erfüllt alle diese Bedingungen:

• Die Anzahl der Zeilen vor und nach der Transformation ist gleich.
• Behält die Transaktionsgrenze bei.
• Behält das Zeilentypattribut bei.
• Expression, ExternalProcedure, HTTP usw. sind einige Beispiele für die passive Transformation.

Bei der passiven Transformation werden keine neuen Zeilen erstellt oder vorhandene Zeilen gelöscht.

Sie müssen sich fragen, warum passive Transformationen verwendet werden, wenn sie die Anzahl der Zeilen nicht ändern. Sie werden im Allgemeinen verwendet, um Werte zu aktualisieren, eine externe Prozedur aus einer gemeinsam genutzten Bibliothek aufzurufen und die Eingabe und Ausgabe von Maplets zu definieren. Ein Maplet ist eine Sammlung nur der Transformationen aus dem Mapping. Zum Beispiel möchten wir für eine Schülerdatenbank die Werte der Markierungsspalte anstelle des Prozentsatzes auf Perzentil aktualisieren. Dies kann mithilfe einer Ausdruckstransformation erfolgen, die die Werte konvertiert und in denselben Spalten aktualisiert, wobei die Gesamtzahl der Zeilen gleich bleibt nach den Transformationen.

Es gibt keine Einschränkung, dass eine Transformation, die als passive Transformation verwendet wird, später nicht als aktive Transformation verwendet werden kann. Ebenso kann eine nicht verbundene Transformation je nach Bedarf als verbundene Transformation verwendet werden. Alle möglichen Kombinationen können zwischen diesen Kategorien gebildet werden, und dies ist die Magie der Informatica-Transformationen. Sie werden später in diesem Blog eine bessere Vorstellung davon bekommen, zu welchen möglichen Typen eine Transformation gehören kann.

Nachdem wir uns mit den verschiedenen Arten von Informatica-Transformationen vertraut gemacht haben, wollen wir sie untersuchen.Im Folgenden sind einige wichtige Arten von Informatica-Transformationen aufgeführt:

Lassen Sie uns nun die Transformationen einzeln betrachten.

Aggregator-Transformation

Die Aggregator-Transformation ist eine aktive und verbundene Transformation. Diese Informatica-Transformation ist nützlich, um Berechnungen wie Durchschnittswerte und Summen durchzuführen (hauptsächlich, um Berechnungen für mehrere Zeilen oder Gruppen durchzuführen). Zum Beispiel, um die Gesamtzahl der täglichen Verkäufe zu berechnen oder um den Durchschnitt der monatlichen oder jährlichen Verkäufe zu berechnen. Aggregatfunktionen wie AVG, FIRST, COUNT, PERCENTILE, MAX, SUM usw. können bei der Aggregattransformation verwendet werden.

Lookup-Transformation

Die Lookup-Transformation ist die beliebteste und am weitesten verbreitete Informatica-Transformation. Abhängig von den Anforderungen des Benutzers kann die Lookup-Umwandlung als verbundene oder nicht verbundene Umwandlung verwendet werden, wobei sie als aktive oder passive Umwandlung kombiniert wird. icht wird verwendet, um hauptsächlich die Details einer Quelle, eines Quellqualifizierers oder eines Ziels nachzuschlagen, um relevante erforderliche Daten zu erhalten. Sie können auch eine 'flache Datei', eine 'relationale Tabelle', eine 'Ansicht' oder ein 'Synonym' nachschlagen. In einem Mapping können mehrere Lookup-Transformationen verwendet werden.

Die Lookup-Transformation wird mit dem folgenden Porttyp erstellt (logische Punkte für die Übertragung von Informationen):

• Eingangsanschluss (I)
• Ausgangsanschluss (O)
• Ports nachschlagen (L)
• Return Port (R) (Nur bei nicht verbundener Suche)

Unterschiede zwischen verbundener und nicht verbundener Lookup-Transformation:

können Sie in Java erweitern und implementieren

• Connected Lookup empfängt Eingabewerte direkt von der Mapping-Pipeline, während UnConnected Lookup Werte von der Lookup empfängt Ausdruck einer anderen Transformation. Eine Zuordnung in Informatica kann Quelle, Transformationen und Ziele enthalten, die miteinander verbunden sind und als Pipeline betrachtet werden.
• Die verbundene Suche gibt mehrere Spalten aus derselben Zeile zurück, da sie mehrere Rückgabeports habensDie nicht verbundene Suche hat nur einen Rückgabeport und gibt eine Spalte aus jeder Zeile zurück. Wenn wir beispielsweise eine verbundene Suche in einer Mitarbeiterdatenbank für eine bestimmte Abteilungs-ID als Parameter verwenden, können wir alle Details zu den Mitarbeitern dieser Abteilung abrufen, z. B. deren Namen, Mitarbeiter-ID-Nummer, Adresse usw., während mit Bei einer Suche ohne Verbindung können wir nur ein Attribut des Mitarbeiters abrufen, z. B. seinen Namen oder seine Mitarbeiter-ID oder ein vom Benutzer angegebenes Attribut.
• Connected Lookup speichert alle Lookup-Spalten zwischen, während UnConnected Lookup nur die Lookup-Ausgabe und die Lookup-Bedingungen zwischenspeichert.
• Connected Lookup unterstützt benutzerdefinierte Standardwerte, während UnConnected Lookup keine benutzerdefinierten Werte unterstützt. Wenn Sie beispielsweise alle Werte einer bestimmten Spalte nach der Suche in NULL ändern möchten, können Sie den Standardwert dieser Spalten in den Suchausdrücken auf NULL setzen. Diese Funktion ist jedoch bei nicht verbundener Suche nicht möglich.

Angenommen, ich möchte aus einer Kundendatenbank die Details von Kunden wissen, die mehr als eine nicht stornierte Rechnung haben. Um diese Daten zu erhalten, können wir eine Lookup-Transformation verwenden.

Hier sind die Schritte.

1. Laden Sie zunächst die Rechnungstabelle als Quelle in den Mapping-Designer. Falls Sie nicht genau wissen, wie Sie Quelldaten in den Designer laden sollen, Klick hier .
2. Lassen Sie uns nun die Rechnungen herausfiltern, die nicht storniert wurden. Erstellen Sie dazu einen neuen Filter mit dem Namen fil_ODS_CUSTOMER_ACTIVE an den Quellqualifizierer mit der Eigenschaft NOT (ISNULL (DATE_CLOSED)) UND CANCELED = 0.
3. Fügen Sie nun eine Design-Transformation im Designer hinzu, wie unten gezeigt, mit dem Namen als lkp_CUSTOMER ::
   
   
4. Geben Sie die Nachschlagetabelle als Kundentabelle an.
5. Doppelklicken Sie auf die Überschrift von lkp_CUSTOMER um das Bearbeitungsmenü zu öffnen. Legen Sie auf der Registerkarte Bedingung die Suchbedingung als fest CUST_ID = CUST_NO.
6. Ändern Sie auf der Registerkarte Eigenschaften die Verbindungsinformationen in $ Quelle und klicken Sie auf OK um die Transformation zu speichern:
7. Verknüpfen Sie die lkp_CUSTOMER Ports zu ODS_CUSTOMER_ACTIVE Ports, um die erforderliche Transformation abzuschließen, wo ODS_CUSTOMER_ACTIVE ist die erforderliche Zieldatei:
8. Die endgültige ikonische Karte einschließlich der Nachschlagstransformation sollte wie folgt aussehen:

Ausdruckstransformation

Die Ausdruckstransformation ist eine passive und verbundene Informatica-Transformation. Ausdruckstransformationen werden zur zeilenweisen Manipulation verwendet. Verwenden Sie für jede Art von Manipulation, die Sie an einem einzelnen Datensatz ausführen möchten, eine Ausdruckstransformation. Die Ausdruckstransformation akzeptiert die zeilenweisen Daten, bearbeitet sie und übergibt sie an das Ziel. Zum Beispiel, um den Rabatt für jedes Produkt zu berechnen oder Vor- und Nachnamen zu verketten oder Datumsangaben in ein Zeichenfolgenfeld umzuwandeln.

Joiner Transformation

• Normal
• Meister Outer
• Detail außen
• Voll außen

Wir können nicht mehr als zwei Quellen mit einem einzigen Joiner verbinden. Um drei Quellen zu verbinden, benötigen wir zwei Joiner-Transformationen.

Angenommen, wir möchten drei Tabellen - Mitarbeiter, Abteilungen und Standorte - mit Joiner verknüpfen. Wir brauchen zwei Tischler. Joiner-1 wird beitreten, Mitarbeiter und Abteilungen und Joiner-2 werden beitreten, die Ausgabe aus der Tabelle Joiner-1 und Locations.

Hier sind die Schritte:

1. Bringen Sie drei Quellen in den Mapping-Designer.
   
2. Erstellen Sie den Joiner -1, um Mitarbeiter und Abteilungen mit Department_ID zu verbinden.
   
   
3. Erstellen Sie den nächsten Joiner, Joiner-2. Nehmen Sie die Ausgabe von Joiner-1 und die Ports von Locations Table und bringen Sie sie zu Joiner-2. Verbinden Sie diese beiden Datenquellen mit Location_ID.
   
4. Der letzte Schritt ist das Senden der erforderlichenHäfenvom Joiner-2 zum Ziel oder über einen AusdruckTransformationzur Zieltabelle.
   

Union Transformation

Die Union-Transformation ist eine aktive und verbundene Informatica-Transformation. Es wird verwendet, um mehrere Datensätze aus verschiedenen Streams oder Pipelines zu einem Datensatz zusammenzuführen. Diese Informatica-Umwandlung funktioniert ähnlich wie der Befehl UNION ALL in SQL, entfernt jedoch keine doppelten Zeilen. Es wird empfohlen, einen Aggregator zu verwenden, um Duplikate zu entfernen, die am Ziel nicht erwartet werden.

Normalizer-Transformation

Normalisierer Die Transformation ist eine aktive und verbundene Informatica-Transformation. Es ist eine der am häufigsten verwendeten Informatica-Transformationen, hauptsächlich mit COBOL-Quellen, bei denen die meisten Zeitdaten in einem nicht normalisierten Format gespeichert werden. Die Normalizer-Transformation kann auch verwendet werden, um mehrere Zeilen aus einer einzelnen Datenzeile zu erstellen.

Lesen Sie die XML-Datei im Java-Beispiel

Versuchen wir, eine durch Kommas getrennte flache Datei aus einer flachen Datei / Cobol-Quelle zu laden.

Hier sind die Schritte:

1. Laden Sie zunächst den Store (Flatfile) mit dem Store-Namen und den vierteljährlichen Einnahmen:
2. Erstellen Sie eine neue Normalizer-Umwandlung mit dem Namen NRM_STORE_EXP mit zwei Ports Store und Quarter (4-mal wiederholt, da wir Daten für 4 Quartale haben) wie unten dargestellt:
3. Die Registerkarte 'Ports' sollte wie folgt aussehen:
4. Kopieren / verknüpfen Sie die folgenden Spalten und stellen Sie eine Verbindung zur Normalizer-Transformation her.
   Geschäft
   Viertel 1
   Quarter2
   Quartal3
   Quarter4
   Das Mapping sollte wie folgt aussehen:
5. Erstellen Sie eine neue Ausdruckstransformation mit exp_STORE . Kopieren / verknüpfen Sie die folgenden Spalten und stellen Sie wie unten gezeigt eine Verbindung zur Ausdruckstransformation her:
   Geschäft
   Quartal
   GK_QUARTER
   GCID_QUARTER
6. Verknüpfen Sie den Ausdruck mit dem endgültigen Ziel, um die Zuordnung mithilfe der Normalisierungstransformation abzuschließen.

XML-Transformation

XML-Transformationen sind aktive und verbundene Informatica-Transformationen. Bei Informatica-Transformationen wird die XML-Transformation hauptsächlich verwendet, wenn die Quelldatei vom XML-Typ oder die Daten vom XML-Typ sind. Die XML-Transformation kann hauptsächlich in drei Transformationen unterteilt werden:

• XML Source Qualifier Transformation.
• XML-Parser-Transformation.
• XML-Generator-Transformation.

XML Source Qualifier Transformation : XML Source Qualifier ist eine aktive und verbundene Umwandlung. XML Source Qualifier wird nur mit einer XML-Quelldefinition verwendet. Es stellt die Datenelemente dar, die der Informatica Server liest, wenn er eine Sitzung mit XML-Quellen ausführt. XML Source Qualifier verfügt über einen Eingabe- oder Ausgabeport für jede Spalte in der Quelle. Wenn Sie eine XML-Quelldefinition aus einem Mapping entfernen, entfernt der Designer auch die entsprechende XML Source Qualifier-Umwandlung.

XML-Parser-Transformation: Die XML-Parser-Transformation ist eine aktive und verbundene Transformation. Die XML-Parser-Umwandlung wird verwendet, um XML innerhalb einer Pipeline zu extrahieren und diese dann an das Ziel zu übergeben. Das XML wird aus den Quellsystemen wie Dateien oder Datenbanken extrahiert. Die XML-Parser-Umwandlung liest XML-Daten von einem einzelnen Eingabeport und schreibt Daten in einen oder mehrere Ausgabeports.

XML-Generator-Transformation: XML Generator ist eine aktive und verbundene Transformation. Die XML-Generator-Transformation wird verwendet, um XML innerhalb einer Pipeline zu erstellen. Die XML-Generator-Transformation liest Daten von einem oder mehreren Eingabeports und gibt XML über einen einzelnen Ausgabeport aus.

Rangtransformation

Die Rangtransformation ist eine aktive und verbundene Transformation. Es handelt sich um eine Informatica-Transformation, die Ihnen bei der Auswahl des oberen oder unteren Datenrangs hilft. Zum Beispiel, um die Top 10 Regionen auszuwählen, in denen das Verkaufsvolumen sehr hoch war, oder um 10 Produkte mit dem niedrigsten Preis auszuwählen.

Stellen Sie sich vor, Sie möchten den ersten und den letzten Datensatz aus meiner Mitarbeiterdatenbank in eine Zieltabelle laden. Die Idee dahinter besteht darin, den Datensätzen eine Sequenznummer hinzuzufügen und dann den Top 1-Rang und den Bottom 1-Rang aus den Datensätzen zu übernehmen.

1. Ziehen Sie Ports vom Quellqualifizierer per Drag & Drop auf zwei Rangtransformationen.
   
2. Erstellen Sie einen wiederverwendbaren Sequenzgenerator mit dem Startwert 1 und verbinden Sie den nächsten Wert mit beiden Rangtransformationen.
   
3. Stellen Sie die Rang-Eigenschaften wie folgt ein. Der neu hinzugefügte Sequenzport sollte als Rangport ausgewählt werden. Sie müssen keinen Port als Gruppe nach Port auswählen. Rang - 1
   
4. Rang - 2
   
5. Machen Sie zwei Instanzen des Ziels.Verbinden Sie den Ausgangsport mit dem Ziel.
   

Router-Transformation

Der Router ist eine aktive und verbundene Transformation. Es ähnelt der Filtertransformation. Der einzige Unterschied besteht darin, dass bei der Filtertransformation die Daten gelöscht werden, die die Bedingung nicht erfüllen, während der Router die Option hat, die Daten zu erfassen, die die Bedingung nicht erfüllen. Es ist nützlich, mehrere Bedingungen zu testen. Es hat Eingabe-, Ausgabe- und Standardgruppen.

Angenommen, Sie möchten die ungeraden und geraden Datensätze einer Tabelle trennen. Dies kann mithilfe einer Router-Transformation erfolgen.

Die Idee ist, den Datensätzen eine Sequenznummer hinzuzufügen und dann die Datensatznummer durch 2 zu teilen. Wenn sie teilbar ist, verschieben Sie sie zum geraden Ziel und wenn nicht, verschieben Sie sie zum ungeraden Ziel.

1. Ziehen Sie die Quelle und stellen Sie eine Verbindung zu einer Ausdruckstransformation her.
2. Fügen Sie der Ausdruckstransformation den nächsten Wert eines Sequenzgenerators hinzu.
   
3. Bei der Ausdruckstransformation werden zwei Ports erstellt, einer ist 'ungerade' und ein anderer 'gerade'.
4. Schreiben Sie den Ausdruck wie folgt
   
5. Verbinden Sie eine Router-Umwandlung mit Ausdruck.
6. Bilden Sie zwei Gruppen unter der Router-Transformation.
7. Geben Sie die folgende Bedingung an
   
8. Senden Sie dann die beiden Gruppen an verschiedene Ziele. Dies ist der gesamte Fluss.
   

Ich hoffe, dieser Blog von Informatica Transformation war hilfreich, um Ihr Verständnis für die verschiedenen Informatica-Transformationen zu erweitern, und hat genug Interesse geweckt, um mehr über Informatica zu erfahren.

Wenn Sie diesen Blog hilfreich fanden, können Sie auch unsere Informatica Tutorial-Blogserie lesen und Informatica-Lernprogramm: Informatica „Inside Out“ verstehen .Wenn Sie Details zur Informatica-Zertifizierung suchen, können Sie unseren Blog besuchen Informatica-Zertifizierung: Alles, was Sie wissen müssen .

Wenn Sie sich bereits für eine Karriere bei Informatica entschieden haben, würde ich Ihnen empfehlen, warum Sie sich nicht unsere ansehen sollten Kursseite. Das Informatica-Zertifizierungs-Training bei Edureka macht Sie durch Live-Sitzungen unter Anleitung von Lehrern und praktische Schulungen anhand realer Anwendungsfälle zu einem Experten für Informatica.