Beiträge

BI Architekturen für die Microsoft Azure Cloud

Google, Amazon und Microsoft sind die drei großen Player im Bereich Cloud Computing. Die Cloud kommt für nahezu alle möglichen Anwendungsszenarien infrage, beispielsweise dem Hosting von Unternehmenssoftware, Web-Anwendungen sowie Applikationen für mobile Endgeräte. Neben diesen Klassikern spielt die Cloud jedoch auch für Internet of Things, Blockchain oder Künstliche Intelligenz eine wichtige Rolle als Enabler.

Nachfolgend beleuchten wir den Cloud-Anbieter Microsoft Azure mit Blick auf die Möglichkeiten des Aufbaues eines modernen Business Intelligence oder Data Platform für Unternehmen. Die vielen Dienste von Microsoft Azure erlauben unzählige Einsatzmöglichkeiten und sind selbst für Cloud-Experten nur schwer in aller Vollständigkeit zu überblicken.  Microsoft schlägt daher verschiedene Referenzmodelle für Datenplattformen oder Business Intelligence Systeme mit unterschiedlichen Ausrichtungen vor. Das umfangreichste Referenzmodell ist jenes für Realtime Analytics.

Microsoft Azure Realtime Analytics Reference Architecture

Azure Reference Architecture for Realtime Analytics

Diese Referenz-Architektur von Microsoft auf Azure baut auf der Referenzarchitektur für moderne Data Warehouse Systeme auf Basis von Microsoft Azure auf. Microsoft Azure Synapse ist dabei die dominante Komponente von der Datenintegration über die Datenspeicherung bis zur Datenanalyse und Integration von Data Science Methodik.

Azure Synapse als ETL-Tool

Im Unterschied zu älteren Referenzmodellen von Microsoft wird hier statt auf Azure Data Factory auf Azure Synapse als ETL-Tool gesetzt. Azure Synapse hat die Datenintegrationsfunktionalitäten teilweise von Azure Data Factory geerbt, wenn gleich Data Factory heute noch als das mächtigere ETL-Tool gilt. Azure Synapse entfernt sich weiter von der alten SSIS-Logik und bietet auch keine Integration von SSIS-Paketen an, zudem sind einige Anbindungen zwischen Data Factory und Synapse unterschiedlich.

Auswahl der Datenbanken

Als Zwischenspeicher bzw. Staging-Layer kommt der Azure Blob Storage zum Einsatz, jedoch im Mantel des Azure Data Lakes, der den reinen Speicher um eine Benutzerebene erweitert und die Verwaltung des Speichers vereinfacht. Als Staging-Layer oder zur Datenhistorisierung ist der Blob Storage eine kosteneffiziente Methode, darf dennoch über individuelle Betrachtung in der Notwendigkeit diskutiert werden.

Azure Synapse erscheint in dieser Referenzarchitektur als die sinnvolle Lösung, da nicht nur die Pipelines von Synapse, sondern auch die SQL-Engine sowie die Spark-Engine (über Python-Notebooks) für die Anwendung von Machine Learning (z. B. für Recommender-Systeme) eingesetzt werden können. Hier spielt Azure Synpase die Möglichkeiten als Kern einer modernen, intelligentisierbaren Data Warehouse Architektur voll aus.

Azure Analysis Service

Der Azure Analysis Service wird in dieser Referenzarchitektur als Cube-generierende Maschinerie von Microsoft vorgeschlagen. Dabei gilt: Für den reinen Einsatz mit Power BI ist der Analysis Service tendenziell eher unnötig, sollen Nutzer jedoch in MS Excel komplexe, vorgerechnete Analysen durchführen können, dann zahlt sich der Analysis Service aus.

Azure Cosmos DB

Die Azure Cosmos DB ist am nächsten vergleichbar mit der MongoDB Atlas (die Cloud-Version der eigentlich on-premise zu hostenden MongoDB). Es ist eine NoSQL-Datenbank, die über Datendokumente im JSON-File-Format auch besonders große Datenmengen in sehr hoher Geschwindigkeit abfragen kann. Sie gilt als die zurzeit schnellste Datenbank in Sachen Lesezugriff und spielt dabei alle Vorteile aus, wenn es um die massenweise Bereitstellung von Daten in andere Applikationen geht. Unternehmen, die ihren Kunden mobile Anwendungen bereitstellen, die Millionen parallele Datenzugriffe benötigen, setzen auf Cosmos DB.

Azure Event Hub

Die Referenzarchitektur für Realtime Analytics ergänzt die Referenzarchitektur für Data Warehousing um den Event Hub. Dieser ist nur für Einsatzszenarios sinnvoll, in denen Data Streaming eine zentrale Rolle spielt. Bei Data Streaming handelt es sich, vereinfacht gesagt, um viele kleine, ereignis-getriggerte inkrementelle Datenlade-Vorgänge bzw. -Bedarfe (Events), die dadurch nahezu in Echtzeit ausgeführt werden können. Dies kann über Webshops und mobile Anwendungen von hoher Bedeutung sein, wenn z. B. Angebote für Kunden hochgrade-individualisiert angezeigt werden sollen oder wenn Marktdaten angezeigt und mit ihnen interagiert werden sollen (z. B. Trading von Wertpapieren). Streaming-Tools bündeln eben solche Events (bzw. deren Datenhäppchen) in Data-Streaming-Kanäle (Partitionen), die dann von vielen Diensten (Consumergruppen / Receiver) aufgegriffen werden können. Data Streaming ist insbesondere auch dann ein notwendiges Setup, wenn ein Unternehmen über eine Microservices-Architektur verfügt, in der viele kleine Dienste (meistens als Docker-Container) als dezentrale Gesamtstruktur dienen. Jeder Dienst kann über Apache Kafka als Sender- und/oder Empfänger in Erscheinung treten. Der Azure Event-Hub dient dazu, die Zwischenspeicherung und Verwaltung der Datenströme von den Event-Sendern in den Azure Blob Storage bzw. Data Lake oder in Azure Synapse zu laden und dort weiter zu reichen oder für tiefere Analysen zu speichern.

Lust auf die Referenzarchitektur? Was Sie vorher beachten sollten:

Die Referenzarchitekturen sind exakt als das zu verstehen: Als Referenz. Keinesfalls sollte diese Architektur unreflektiert für ein Unternehmen übernommen werden, sondern vorher in Einklang mit der Datenstrategie gebracht werden, dabei sollten mindestens diese Fragen geklärt werden:

  • Welche Datenquellen sind vorhanden und werden zukünftig absehbar vorhanden sein?
  • Welche Anwendungsfälle (Use Cases) habe ich für die Business Intelligence bzw. Datenplattform?
  • Über welche finanziellen und fachlichen Ressourcen darf verfügt werden?

Darüber hinaus sollten sich die Architekten bewusst sein, dass, anders als noch in der trägeren On-Premise-Welt, die Could-Dienste schnelllebig sind. So sah die Referenzarchitektur 2019/2020 noch etwas anders aus, in der Databricks on Azure als System für Advanced Analytics inkludiert wurde, heute scheint diese Position im Referenzmodell komplett durch Azure Synapse ersetzt worden zu sein. Verstehen Sie dies als Vorschlag, an dem wir gemeinsam arbeiten müssen.


Über DATANOMIQ

DATANOMIQ ist der herstellerunabhängige Lösungs- und Service-Partner für Business Analytics, Data Science und Industrie 4.0. Wir erschließen die gewaltigen Ergebnispotenziale durch Big Data erstmalig in allen Bereichen der Wertschöpfungskette – maßgeschneidert für Ihre Anforderungen. Dabei setzen wir auf die besten Köpfe und das umfassendste Methoden- und Technologieportfolio in unserer Branche.

Kontakt

DATANOMIQ GmbH
Franklinstr. 11
D-10587 Berlin
Tel: +49 (0) 30 22002341
I: www.datanomiq.de
E: info@datanomiq.de

Maschinendaten 4.0 – Big Data in der Produktion

Berlin/München, November 2015: Mit Big Data Analytics im Produktionsumfeld lassen sich neue Wertpotenziale erschließen, die mit bestehenden Systemen unentdeckt blieben. Obgleich die Sensortechnik bereits heute in vielen Maschinen und Anlagen so verbaut ist, dass eine Abgabe der Daten an IT-Systeme für weitergehende Analysen möglich wäre, werden derzeit lediglich winzige Mengen des Datenvolumens genutzt – bedeutsame Geschäftsvorteile verpuffen.Stitched Panorama

Durch die intelligente Auswertung von Sensordaten lässt sich erkennen, wenn Bauteile oder Fertigungsprozesse erste Symptome aufweisen, die auf einen bevorstehenden Ausfall hindeuten. Daraufhin lässt sich gezielt und rechtzeitig in den Prozess eingreifen. Der durch prädiktive Analysen ermöglichte situationsgerechte Austausch von Ersatzteilen und auf den Punkt genaue Wartungsmaßnahmen gehören zu den Paradebeispielen von Big Data Analytics. Diese Anwendungsfelder lassen sich jedoch nach Belieben und individuell erweitern, denn wertvolle Rohdaten entstehen überall auf dem Shopfloor. So können mit Hilfe von Big Data Analytics  unzählige Produktionsvariablen im Prozessfluss analysiert werden, um die Produktreinheit abzusichern. Oder es lassen sich dort, wo konventionelle statistische Methoden und IT-Systeme überfordert sind, Ausschussraten drastisch verbessern.

Die Auswertung von Maschinendaten in Echtzeit gehört zu den anspruchsvollsten Bereichen von Big Data, denn Sensoren generieren Daten heute im Sekundentakt oder sogar weit darunter. Binnen weniger Stunden können Datenberge im Terabyte-Bereich entstehen. Auf Grund der Heterogenität der heutigen Maschinenlandschaft liegen Maschinendaten in den unterschiedlichsten Formaten vor; konventionelle Monitoring- und Analyse-Tools stoßen hier angesichts der Vielfalt, Geschwindigkeit, Größe und Veränderbarkeit dieser Datensätze sehr schnell an ihre Grenzen. Vor diesem Hintergrund ist ein neuer, speziell auf diese einzigartige Klasse von Daten ausgelegter Weg erforderlich, um beispielsweise die Produktion zu optimieren oder für die Früherkennung von Problemen durch den Einsatz von Diagnosedaten. Big Data Analytics-Methoden ermöglichen, diese Daten nach bislang unentdeckten Fehlermustern zu überprüfen. Werden Unstimmigkeiten festgestellt, erfolgt eine Untersuchung, ob es sich z. B. bei widersprüchlichen Datensätzen oder statistischen Ausreißern um wichtige Informationen mit Aussagekraft über Ineffizienzen oder Fehlerquellen handelt. So bekommen Daten, die vorher auf Grund des fehlenden Kontextes ohne Aussage waren, eine Bedeutung für den Produktionszustand – und zwar mit Blick auf die Zukunft, die sich aus den Daten ableiten lässt.

In der nächsten Entwicklungsstufe hin zu Maschinendaten 4.0 lassen sich nochmals erhebliche, ungeahnte Möglichkeiten im Produktionsumfeld erschließen – etwa wenn Daten über Maschinen hinweg in nahezu Echtzeit analysiert oder mit weiteren funktionsübergreifenden und externen Daten, wie Marktinformationen angereichert werden. Big Data in der Produktion wird somit zum Game Changer für die Fertigung, um die Durchlaufzeit zu verkürzen, Produktionsschwankungen zu meistern oder die Gesamtsteuerung deutlich zu vereinfachen.

Über DATANOMIQ

DATANOMIQ ist der Lösungs- und Service-Partner für Business Analytics, Data Science und Industrie 4.0. Wir erschließen die gewaltigen Ergebnispotenziale durch Big Data erstmalig in allen Bereichen der Wertschöpfungskette. Dabei setzen wir auf die besten Köpfe und das umfassendste Methoden- und Technologieportfolio in unserer Branche.

Kontakt

DATANOMIQ GmbH
Ostendstraße 25
D-12459 Berlin
Tel: +49 (0) 30 20653828
I: www.datanomiq.de
E: info@datanomiq.de

Industrie 4.0 & Big Data Symposium am 15. Oktober 2015 in München

Industrie 4.0 und Big Data Analytics sind nicht nur zwei aktuelle Top-Themen der Weltwirtschaft, sondern haben eine überaus große Schnittmenge. Die vierte Revolution der Industrie verfolgt das Ziel der Smart Factory, also der sich selbst konfigurierenden Fabrik, die ohne Auswertung von Daten aus verteilten Quellen unerreichbar bleiben würde.

Das Industrie 4.0 – Symposium für datengestützte Produktion & Logistik behandelt anhand zahlreicher Vorträge und Foren die relevanten Trend-Themen rund um Industrie 4.0 und Big Data Analytics, um das Potenzial aus der digitalen Transformation und neuen Geschäftsmöglichkeiten nutzen zu können. Das Symposium zeichnet sich dabei in besonderer Weise durch die praxisorientierte Darstellung wichtiger Erfahrungswerte aus konkreten Anwendungsfällen aus. Themenschwerpunkt ist die Schnittmenge aus Industrie 4.0 und Big Data Analytics, insbesondere die Vernetzung von Maschinen (Internet of Things / M2M), Speicherung von Fabrikdaten, Factory Cloud Computing sowie Maschinendatenanalyse und Predictive Maintenance.

 Sie richtet sich speziell an Geschäftsführer und andere Entscheider aus Produktion, Logistik, Einkauf und Controlling großer und mittelständischer Unternehmen. Die Teilnehmer erhalten Einblicke in wichtige Entwicklungen aus erster Hand, entdecken neue Lösungen für ihre Geschäftsentwicklung und nutzen hochrangige Networking-Möglichkeiten.

symposium4-1030x687


Top-Referenten aus der Agenda:

– General Electric (GE): Operational Excellence durch Industrie 4.0
– SIEMENS: Digitalisierung der Produktion mit RFID – Markus Weinländer
– SKF: Einstieg in die Smart Factory mit Maschinendatenanalyse in der Cloud
– Fraunhofer IOSB: Smart Factory mit Industrial Machine Learning
– SAP: Verknüpfung von Maschinendaten mit dem ERP

 

Highlights des Symposiums neben den Top-Referenten:

  • Zahlreiche Anwendungs- und Erfahrungsberichte aus erster Hand
  • Live Vorführungen von Fallbeispielen
  • Wegweisende Lösungswege und neue Impulse für Ihr Unternehmen
  • Hochrangige Networking-Möglichkeiten zu Spitzenvertretern aus der Industrie

Die Veranstaltung erfolgt in Kooperation mit der Industrie 4.0 Gruppe auf Xing.com und Linkedin.com. Die Moderation der Veranstaltung übernimmt Frau Stefanie Michel von Vogel Business Media.

Die begehrten Tickets können Sie nur direkt über www.Connected-Industry.com erwerben!