Twitter SAP Analytics Flash 07/2019

Aus Spaß einfach mal ein Stück weit, was sich in der Twittersphäre so tut. In kompakter Form. Allein wenn man mal wie hier rund 2 Wochen zurück geht, zeichnet sich ein recht klarer News-Flow Gewinner in der SAP Analytics Twittersphere ab.

SAP Analytics allgemein

Ein Highlight zuletzt war die DSAG Handlungsempfehlung zu „Zukunftsorientiere Analytische Plattformen„, die auf hoher Flughöhe zeigt, wie man mit SAP-Mitteln einen ganzheitlichen, modernen Ansatz für Analytics schaffen kann.

Daneben freut man sich natürlich immer über eine gute Research-Platzierung wie hier im neusten BARC BI Score.

SAP Analytics Cloud

Zunehmend fließt SAC in die verschiedenen, vor allem Cloud-basierten Tools wie SuccessFactors ein. Das Thema People Analytics wird hier groß geschrieben. Tammy Powlas dokumentiert für uns den aktuellen Stand der Planning-Roadmap für SAC. Auch die Smart Predict-Funktion integriert sich hier bereits gut in die Plannung. SAC liefert flexible Möglichkeiten, eigene berechnete Dimensionen (Measure Based Calculated Dimension) anzulegen. Warum man überhaupt in Richtung SAC gehen sollte, erklärt uns Ingo Hilgefort. Er geht aber gerne auch mal in die Details und erklärt, wie Simulationen wie das Minimum Wage Analysis Scenario in SAC umgesetzt werden können. Mittlerweile bietet SAP zum Einstieg sogar Expert-guided Implementation an. Zuletzt kam das 14. Release von SAC mit natürlich jeder Menge neuer Funktionen heraus. Und als ein Major Highlight kann der zuletzt eingeführte Analytics Designer angesehen werden, der den Einsatz von Scripting erlaubt. Ein spannendes Thema mit SAP und CloudFoundry ist IoT, wie hier gezeigt wird. Aber natürlich nie die Sicherheitsaspekte vernachlässigen. Beim Thema Integration wurde eine ganze Tutorial-Serie für HANA Service in der SAP Cloud Platform durch die HANA Academy zur Verfügung gestellt.

SAP BusinessObjects BI

SAP BO BI 4.3 steht an. Wenn auch erstmal in der Beta-Phase. Auf was man sich alles freuen kann, findet man schonmal bei SAP-Partner 360Suite.

HANA Analytics

Wie man mit Smart Data Integration (SDI) in CloudFoundry arbeitet, wird in diesem Blog erklärt. Wer sich für die Neuerungen in SDI und SDQ interessiert wird hier mit dem Nötigsten versorgt. Die Möglichkeiten der Nutzung von R mit HANA werden gut hier gezeigt. Wer lieber den Zugriff und die Verarbeitung mit Python mag, freut sich über dieses End to End Machine Learning Scenario.

SAP Data Warehousing

VisualBI zeigt uns, welche Veränderungen sich in der DSO-Modellierung von BW/4HANA 1.0 auf 2.0 ergeben haben. Wie BW/4HANA gut mit S/4HANA zusammenarbeitet, zeigt uns SAP-Partner Itelligence UK. Mit der Vora-Technologie kann der Data Warehouse-Ansatz auf einen Data Lake ausgedehnt werden. Wer hier bzgl. Hadoop mal eine Einführung möchte, dem wird hier geholften. Gleichzeitig startet das Data Warehouse Cloud bald mit spannenden Features in die Beta-Phase.

SAP Data Hub

Wie SAP Data Hub mit der Process Mining Software Celonis Snap zusammen arbeitet zeigt uns Frank Schuler. Genauso zeigt er, wie man mit Lineage Informationen besser Vertrauen zu seinen Daten aufbauen kann.

S/4HANA Embedded Analytics

Insight to Action wird hier durch die richtige KPI Tile ermöglicht. Selbst kleinen Herausforderungen wie der Darstellung von Prozentzeichen wird sich aktuell angenommen.

SAP HANA – What’s New SDI/SDA Journey

Smart Data Integration (SDI) und Smart Data Access (SDA) sind die Technologien zur Integration von non SAP-Daten in die HANA Datenbank. Dabei werden drei Arten der Integration unterschieden. Batch, Real-time und virtuell. Die Kommunikation mit den Quelldatenbanken bei SDA findet über ODBC statt.

Smart Data Access wird als ein Weg gesehen um Smart Data Integration für den virtuellen Zugriff auf Tabellen zu implementieren.

SAP HANA 1.0 SPS06: Ab hier ist Smart Data Access (SDA) verfügbar.

2
Virtuelle Tabellen als Kernkonzept von SDA – SAP, 2017

SAP HANA 1.0 SPS07: Neue Datenquellen wie Oracle 12c, Microsoft SQL Server 11 und Hadoop Hortenworks HDP 1.3 sind verfügbar. Virtuelle Tabellen können u. a. in Calculation Views verwendet werden.

SAP HANA 1.0 SPS08: Neue Datenquellen sind IBM DB2 UDB ver10.1 und Netezza ver7. Analytic und Attribute Views werden nun unterstützt.

SAP HANA 1.0 SPS09: Ab hier ist Smart Data Integration (SDI) verfügbar. Für Real-time Integration wird die Sybase Replication Server Technologie für Change Data Capture für ausgewählte Quellen genutzt. Batch ist für alle Quellen möglich. Es gibt ein Adapter Framework auf Basis einer Java oder C++ API. Unter anderem kam ein Twitter und OData Adapter hinzu. Über Replication Tasks in der Web-based Development Workbench kann Real-time Replikation gesteuert werden. Im Data Flow UI können komplexe Real-time und Batch Transformationen eingerichtet werden.

1.PNG
Smart Data Integration – SAP, 2014

SAP HANA 1.0 SPS10: Für folgende Adapter kann in flowgraphs ein Data Sink-Node erstellt werden, welcher Daten zurück schreibt: ASE, File, HANA, Teradata, DB2, Oracle und MSSQL. Die bisherige Data Flow UI wird durch flowgraphs ersetzt. Neu sind hier SDQ-Funktionalitäten wie Cleanse und Match. Die Tabellensuche in Remote Sources wird nun unterstützt. Neu wird auch Dynamic Tiering in flowgraphs unterstützt. SDA bringt einen Spark SQL-Adapter mit. DP Agent Groups werden als failover-Konzept eingesetzt.

SAP HANA 1.0 SPS11: Für SDA ist das Monitoring im HANA Cockpit neu, wie dies auch schon im HANA Studio verfügbar war. Für MSSQL, Oracle und DB2 können SDA-Quellen in SDI-Quellen konvertiert werden. Andersherum können SDI-Quellen für SDA genutzt werden (Lizenz vorausgesetzt). SDI unterstützt nun Workload Management. Außerdem kann auf neue Remote-Quellen zugegriffen werden (SAP ERP-Tabellen und ODP DataSources für BW, MS Excel und SOAP Web Services, CamelAdapter und CamelFacebookAdapter). Flowgraphs werden an vielen Stellen wie JIT Data Preview, neue Datenquellen (Virtual Functions, SQL Views und Calculation Views) und Hierarchische Transformationen (XML/SOAP).

SAP HANA 1.0 SPS12: SDA unterstützt nun die UPSERT-Funktion. SDI-Quellen können mit SDA nun ohne zusätzliche Lizenz genutzt werden. SDI liefert neue Adapter für Google+, Outloook PST und Informix. OData und HDFS werden als Ziele unterstützt. Eine neue Monitoring UI für Flowgraphs und Replication Tasks ist verfügbar. E-Mail Benachrichtigungen für verschiedene Zustände sind nun verfügbar. Data Masking für Transformationen ist neu. Der Flowgraph Editor wurde an vielen Stellen erweitert.

SAP HANA 2.0 SPS00: SDA wurde im Bereich virtuelle Tabellen bei der Synchronisation von Metadaten und dem Result Caching verbessert. Mittels eines neuen ODBC Adapters für Vora kann direkt auf Hadoop zugegriffen werden. SDA kann nun im HANA Cockpit 2.0 gemonitort werden. Bei SDI ist Flowgraph in XSA ein neues Feature. Mit Task Partitioning wurden Datenmenge und Performance in XSC und XSA verbessert. MS Access wurde als Adapter erweitert sowie an weiteren Adaptern Verbesserungen vorgenommen.

SAP HANA 2.0 SPS01: SDA Virtuelle Tabellen können ab sofort transportiert werden. Mit dem Feature Linked Tables müssen Virtuelle Tabellen bei HANA zu HANA-Verbindungen nicht mehr explizit definiert werden. Dabei sind neue Berechtigungen zu berücksichtigen. Für SDI ist in XSA ein neuer File Format Editor verfügbar und XSA Flowgraphs wurden um verschiedene Transformationen (Pivot, Unpivot, Match) erweitert. Für den Data Provisioning Agent (DPA) gibt es ein neues Command Line Interface. Neue Adapter für PostgreSQL, Apache Impala und Camel JDBC wurden zur Verfügung gestellt sowie viele Adapter erweitert.

SAP HANA 2.0 SPS02: SDA unterstützt nun für einige Datenbanken Ausfallsicherheit für Remote Sources, indem beim Ausfall des Remote active worker node auf den Remote standby node zurückgegriffen wird. Für ODBC-Verbindungen kann nun zwischen einem high performance mode über den Indexserver (für SAP-Quellen) oder einen safe mode über den Script Server (3rd Party). In SDI wurden diverse Adapter erweitert (ASE, Excel, CamelFacebook, …). In XSA Flowgraphs werden nun PAL-Aufrufe unterstützt und Virtuelle Tabellen können als Datenziel dienen.

SAP HANA 2.0 SPS03: SDA ermöglicht nun den virtuellen Zugriff auf Spatial Daten in anderen HANA-Systemen. SDA wird nun auch im SAP HANA Database Explorer unterstützt. In SDI werden hauptsächlich Erweiterungen bei Adaptern und in Flowgraphs umgesetzt.

SAP HANA 2.0 SPS04: SDA wird um das Generic Adapter Framework erweitert, durch welches die Anpassung an Remote Sources vereinfacht wird. Im Weiteren wird DDL für Remote Sources unterstützt. Für SDI unterstützt der DP Agent Load Balancing, Whitelisting für Quelltabellen und das Abschalten von Adapter Writeback. Der Zugriff auf Cloud Foundry bzw. HANA as a Service wird nun unterstütz. Auch einige Cloud Datenbanken bei AWS und Azure werden nun unterstütz. Replication Tasks sind nun in XSA/Web IDE verfügbar.

3
SDA Generic Adapter Framework – SAP, 2019

 

Soweit zum Stand SDI/SDA. Weitere Quellen:

2180119 – FAQ: SAP HANA Smart Data Access

1868209 – SAP HANA Smart Data Access 1.0 Master Release Note

2352696 – SAP HANA Smart Data Access 2.0 Master Release Note

2600176 – SAP HANA Smart Data Access Supported Remote Sources

2400022 – FAQ: SAP HANA Smart Data Integration (SDI)

 

SAP HANA – What’s New PAL Journey

Im Folgenden ein Überblick über die Neuerungen (auf Basis der What’s New-Präsentationen) zu SAP HANA Predictive Analysis Library (PAL) von SAP HANA 1.0 SP06 bis SAP HANA 2.0.

PAL wurde bereits mit SPS05 unter dem Framework Application Function Library neben der Business Function Library (BFL) gestartet. Die Bereitstellung erfolgte initial nur über SQL Skript. Die Implementierung erfolgte in C++ als Teil der HANA-Datenbank.

SAP HANA 1.0 SPS06: Mit diesem SPS wurden bereits 28 Algorithmen für Data Preparation und Machine Learning/Data Mining zur Verfügung gestellt. Darunter C4.5, CHAID, diverse Regressionsalgorithmen, Apriori, K-Means oder DBSCAN. Ab hier wurde der Application Function Modeler (AFM) als grafischer Editor zusätzlich verfügbar gemacht.

SAP HANA 1.0 SPS07:  (Ca. 11/2013) Ziel war es, die Implementierung komplexer Algorithmen zu vereinfachen bzw. Alternativen bereitzustellen. Hier kamen neue Uni- und Multivariate statistische Methoden (Mittelwert, Median, Varianz, Schiefe, Chi-Quadrat Test, F-Test, …), die Behandlung von fehlenden Werten und die Partitionierung von Datensets hinzu. Neue Algorithmen waren u. a. Support Vector Machine (SVM), Forecast Smoothing, Agglomeratives hierarchisches Clustering. Auch gab es Optimierungen und Erweiterungen an verschiedenen Algorithmen. Des weiteren wurde die AFM-Unterstützung verbessert.

1
Application Function Library Framework in SAP HANA (SAP, 2013)

SAP HANA 1.0 SPS08: (Ca. 05/2014)  Hier wurden im Schwerpunkt Erweiterungen auf Basis der Priorisierung durch Kunden und anderen Stakeholder gemacht. 8 Algorithmen kamen hinzu (FP-Growth, CART, K-Medoid, ARIMA, Distribution Fit, Cumulative Distribution Function, Quantilfunktion, Random Distribution Sampling). Wieder wurden Erweiterungen wie die automatische Handhabung fehlender Werte durchgeführt.

SAP HANA 1.0 SPS09: (Ca. 11/2014) Ebenfalls 8 neue Algorithmen wie Top K Rule Discovery, Back-Propagation, Croston Method und Principal Component Analysis (PCA) kamen hinzu. An der AFL wurden Änderungen vorgenommen und Berechtigungen erweitert. Der AFM wurde Re-Designed (HANA Studio) und um Funktionen zu flowgraphs erweitert, welche u. a. auch die Integration von R-Scripts ermöglichen.

SAP HANA 1.0 SPS10: (Ca. 06/2015) In den SPS sind 7 neue Algorithmen ergänzt worden. U. a. Confusion Matrix, Gaussian Mixture Model (GMM) und Latent Dirichlet Allocation (LDA). Daneben wurde das Fehlerhandling verbessert und die PAL-Integration mit Seriendaten und Window Funktionen eingeführt. Mit SPS 10 wurde auch der web-basierte Editor (Web-based Development Workbench) eingeführt.

SAP HANA 1.0 SPS11: (Ca. 12/2015) 6 neue Algorithmen werden hier zur Verfügung gestellt, darunter Random Forest, Kaplan-Meier Survival Analysis und Area under curve (AUC). Für Smart Data Streaming wurden Algorithmen wie Adaptive Hoeffding Decision Tree und DenStream eingebettet.

2
Smart Data Streaming in SPS11 – SAP, 2018

SAP HANA 1.0 SPS12: (Ca. 05/2016) In dem SPS kam Auto-ARIMA für Zeitreihenanalyse sowie Erweiterungen zu bestehenden Algorithmen hinzu. Für Scale-out-Szenarien kamen verteilte Berechnungen über den Node Script Server hinzu.

SAP HANA 2.0 SPS00: (Ca. 12/2016) Mit dem SPS wurden 8 Algorithmen auf insgesamt 91 Algorithmen erweitert. Unter den neuen Algorithmen sind Gradient Boosting Decision Trees, Fast Fourier Transform (FFT) und Sequential Pattern Mining. Technisch wurde die parallele Ausführung von Scoring-Funktionen auf partitionierten Daten erweitert.

SAP HANA 2.0 SPS01: (Ca. 04/2017) 6 Algorithmen wurden hier erweitert (u. a. Accelerated K-Means, ANOVA oder T-Test). Als neue Algorithmenklasse kam Recommender Systems mit Factorized Polynomial Regression hinzu. Im Bereich Ausreißeranalysen kam One Class SVM hinzu. Ebenso ist Real Time Scoring hinzugekommen.

SAP HANA 2.0 SPS02: (Ca. 07/2017) 2 Algorithmen im Bereich Data Preparation wurden ergänzt (Factor Analysis und Multi dimensional scaling). Seit diesem SPS kam die Möglichkeit zur Integration von TensorFlow hinzu (External Machine Learning – EML). Auch wird ab hier PAL über die Web IDE supported. Die Schnittstelle zum Aufruf der PAL-Funktionen wurde vereinfacht. Auch Treiber für Python sind ab hier verfügbar. Weitere Funktionen für das im vorherigen SPS eingeführten Real Time Scoring wurden ermöglicht.

3
SAP HANA TensorFlow Integration – SAP, 2017

 

SAP HANA 2.0 SPS03: (Ca. 04/2018) SAP stellt das Machine Learning Portfolio unter dem Namen SAP Leonardo neu auf. Auch kommt das SPS Data Scientists mit Resampling und Hyperparametersuche entgegen. 4 neue Algorithmen kommen hinzu (Hierarchical Forecasting, Alternating Last Squares, Field-aware Factorization Machines und PageRank). Der Python-Zugriff wird durch die Unterstützung von SQLAlchemy verbessert.

4
SAP Leonardo Machine Learning Portfolio – SAP, 2018

SAP HANA 2.0 SPS04: (Ca. 05/2019) Neben Python wird nun auch eine R API für das direkte Arbeiten mit R auf HANA zur Verfügung gestellt. Neue Algorithmen sind u. a. Hybrid Gradient Boosting Tree, Change Point Detection, Conditional Random Fields und Regression Comparison Function. Insgesamt 10 Neue. Die Automated Predictive Library (APL) ist nun Teil von SAP HANA.

Soweit nun die Reise der PAL-Bibliothek bzw. zunehmend auch weiterer Möglichkeiten wie APL, Streaming Analytics, Tensorflow, R und Python.

Viele Technologien rund herum unterstützen die analytischen Fähigkeiten der SAP HANA Platform.