HPI – BD19/20 – Introduction

Als Teil der Lecture Series des HPI hier Teil 1 der Big Data-Vorlesung mit „Introduction„.

Grundlegend eine Einführung in Big Data. Woher kommen die Daten (Messages, Tweets, Social Networks, Blogs, Click Stream, Logs, …)

-> Der Wert der Daten nimmt über die Zeit ab (=> niemand benötigt Click Stream-Informationen die 10 Jahre alt sind.)

Es gibt viele Definitionen von Big Data. Generell kann gesagt werden – wenn du die Daten mit klassischen Ansätzen nicht mehr verarbeiten kannst, ist es Big Data.

Big Data wird oft über die 3 Vs definiert: Volume / Velocity / Variety

Big Data hat auch Risiken:

  • Fehler: Falsche Korrelationen, Bias, Simpsons Paradox
  • Manipulation: Fit data to result, biased training, manipulative Visualisierungen
  • Misuse: Diskriminierung, Verletzung von Datenschutz, Spionage
  • Data Monopoly

Der Nutzen von Big Data ist u. a.:

  • Wirtschaft: Predictive Maintenance, Betrugserkennung, Kapazitätsplanung, Prozessoptimierung
  • Automotive: Verkehrsoptimierung, Selbstfahrende Autos, verbesserte Sicherheit
  • Health: Früherkennung, personalisierte Medizin, medizinische Assistenten, Kostenreduktion
  • Science: Evidenzbasierte Forschung, schnelle Datenanalyse und -wiederverwendung

=> Data Science ist der Prozess um aus Big Data nutzen zu ziehen.

Data Science vs. Data Engineering: DS organisiert und analysiert Daten um Probleme zu lösen. DE erstellt die Architektur, betreibt Datenpipelines und bring DS in einen produktiven Kontext.

Ethik: „With great power comes great responsibility.“

 

SAP Analytix-Fazit

Gute Einführung in das Thema. Hier ist sicherlich noch nicht viel zu sagen. SAP treibt das Thema toolmäßig mit SAP Data Hub bzw. SAP Data Intelligence und versucht damit Data Science und Data Engineering zu verbinden.

SAP hat die letzten Jahre viele Initiativen entwickelt, um Big Data zu bewältigen. SAP HANA, Vora, Big Data Service und nicht zuletzt den demnächst startenden HANA Cloud Service, welcher direkt eine Data Lake-Funktionalität mitbringt.

Bleiben wir gespannt, wie es anläuft.

Nächste Lecture: Database Systems Recab

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s