SAP HANA – What’s New SDI/SDA Journey

Smart Data Integration (SDI) und Smart Data Access (SDA) sind die Technologien zur Integration von non SAP-Daten in die HANA Datenbank. Dabei werden drei Arten der Integration unterschieden. Batch, Real-time und virtuell. Die Kommunikation mit den Quelldatenbanken bei SDA findet über ODBC statt.

Smart Data Access wird als ein Weg gesehen um Smart Data Integration für den virtuellen Zugriff auf Tabellen zu implementieren.

SAP HANA 1.0 SPS06: Ab hier ist Smart Data Access (SDA) verfügbar.

2
Virtuelle Tabellen als Kernkonzept von SDA – SAP, 2017

SAP HANA 1.0 SPS07: Neue Datenquellen wie Oracle 12c, Microsoft SQL Server 11 und Hadoop Hortenworks HDP 1.3 sind verfügbar. Virtuelle Tabellen können u. a. in Calculation Views verwendet werden.

SAP HANA 1.0 SPS08: Neue Datenquellen sind IBM DB2 UDB ver10.1 und Netezza ver7. Analytic und Attribute Views werden nun unterstützt.

SAP HANA 1.0 SPS09: Ab hier ist Smart Data Integration (SDI) verfügbar. Für Real-time Integration wird die Sybase Replication Server Technologie für Change Data Capture für ausgewählte Quellen genutzt. Batch ist für alle Quellen möglich. Es gibt ein Adapter Framework auf Basis einer Java oder C++ API. Unter anderem kam ein Twitter und OData Adapter hinzu. Über Replication Tasks in der Web-based Development Workbench kann Real-time Replikation gesteuert werden. Im Data Flow UI können komplexe Real-time und Batch Transformationen eingerichtet werden.

1.PNG
Smart Data Integration – SAP, 2014

SAP HANA 1.0 SPS10: Für folgende Adapter kann in flowgraphs ein Data Sink-Node erstellt werden, welcher Daten zurück schreibt: ASE, File, HANA, Teradata, DB2, Oracle und MSSQL. Die bisherige Data Flow UI wird durch flowgraphs ersetzt. Neu sind hier SDQ-Funktionalitäten wie Cleanse und Match. Die Tabellensuche in Remote Sources wird nun unterstützt. Neu wird auch Dynamic Tiering in flowgraphs unterstützt. SDA bringt einen Spark SQL-Adapter mit. DP Agent Groups werden als failover-Konzept eingesetzt.

SAP HANA 1.0 SPS11: Für SDA ist das Monitoring im HANA Cockpit neu, wie dies auch schon im HANA Studio verfügbar war. Für MSSQL, Oracle und DB2 können SDA-Quellen in SDI-Quellen konvertiert werden. Andersherum können SDI-Quellen für SDA genutzt werden (Lizenz vorausgesetzt). SDI unterstützt nun Workload Management. Außerdem kann auf neue Remote-Quellen zugegriffen werden (SAP ERP-Tabellen und ODP DataSources für BW, MS Excel und SOAP Web Services, CamelAdapter und CamelFacebookAdapter). Flowgraphs werden an vielen Stellen wie JIT Data Preview, neue Datenquellen (Virtual Functions, SQL Views und Calculation Views) und Hierarchische Transformationen (XML/SOAP).

SAP HANA 1.0 SPS12: SDA unterstützt nun die UPSERT-Funktion. SDI-Quellen können mit SDA nun ohne zusätzliche Lizenz genutzt werden. SDI liefert neue Adapter für Google+, Outloook PST und Informix. OData und HDFS werden als Ziele unterstützt. Eine neue Monitoring UI für Flowgraphs und Replication Tasks ist verfügbar. E-Mail Benachrichtigungen für verschiedene Zustände sind nun verfügbar. Data Masking für Transformationen ist neu. Der Flowgraph Editor wurde an vielen Stellen erweitert.

SAP HANA 2.0 SPS00: SDA wurde im Bereich virtuelle Tabellen bei der Synchronisation von Metadaten und dem Result Caching verbessert. Mittels eines neuen ODBC Adapters für Vora kann direkt auf Hadoop zugegriffen werden. SDA kann nun im HANA Cockpit 2.0 gemonitort werden. Bei SDI ist Flowgraph in XSA ein neues Feature. Mit Task Partitioning wurden Datenmenge und Performance in XSC und XSA verbessert. MS Access wurde als Adapter erweitert sowie an weiteren Adaptern Verbesserungen vorgenommen.

SAP HANA 2.0 SPS01: SDA Virtuelle Tabellen können ab sofort transportiert werden. Mit dem Feature Linked Tables müssen Virtuelle Tabellen bei HANA zu HANA-Verbindungen nicht mehr explizit definiert werden. Dabei sind neue Berechtigungen zu berücksichtigen. Für SDI ist in XSA ein neuer File Format Editor verfügbar und XSA Flowgraphs wurden um verschiedene Transformationen (Pivot, Unpivot, Match) erweitert. Für den Data Provisioning Agent (DPA) gibt es ein neues Command Line Interface. Neue Adapter für PostgreSQL, Apache Impala und Camel JDBC wurden zur Verfügung gestellt sowie viele Adapter erweitert.

SAP HANA 2.0 SPS02: SDA unterstützt nun für einige Datenbanken Ausfallsicherheit für Remote Sources, indem beim Ausfall des Remote active worker node auf den Remote standby node zurückgegriffen wird. Für ODBC-Verbindungen kann nun zwischen einem high performance mode über den Indexserver (für SAP-Quellen) oder einen safe mode über den Script Server (3rd Party). In SDI wurden diverse Adapter erweitert (ASE, Excel, CamelFacebook, …). In XSA Flowgraphs werden nun PAL-Aufrufe unterstützt und Virtuelle Tabellen können als Datenziel dienen.

SAP HANA 2.0 SPS03: SDA ermöglicht nun den virtuellen Zugriff auf Spatial Daten in anderen HANA-Systemen. SDA wird nun auch im SAP HANA Database Explorer unterstützt. In SDI werden hauptsächlich Erweiterungen bei Adaptern und in Flowgraphs umgesetzt.

SAP HANA 2.0 SPS04: SDA wird um das Generic Adapter Framework erweitert, durch welches die Anpassung an Remote Sources vereinfacht wird. Im Weiteren wird DDL für Remote Sources unterstützt. Für SDI unterstützt der DP Agent Load Balancing, Whitelisting für Quelltabellen und das Abschalten von Adapter Writeback. Der Zugriff auf Cloud Foundry bzw. HANA as a Service wird nun unterstütz. Auch einige Cloud Datenbanken bei AWS und Azure werden nun unterstütz. Replication Tasks sind nun in XSA/Web IDE verfügbar.

3
SDA Generic Adapter Framework – SAP, 2019

 

Soweit zum Stand SDI/SDA. Weitere Quellen:

2180119 – FAQ: SAP HANA Smart Data Access

1868209 – SAP HANA Smart Data Access 1.0 Master Release Note

2352696 – SAP HANA Smart Data Access 2.0 Master Release Note

2600176 – SAP HANA Smart Data Access Supported Remote Sources

2400022 – FAQ: SAP HANA Smart Data Integration (SDI)

 

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s