Data Engineering

Serie | Data Governance – Dos and Don’ts Data Governance ist heute für Unternehmen unverzichtbar, weshalb es umso wichtiger ist, von Anfang an ein effektives Datenmanagement für sein Unternehmen zu implementieren. Data Governance ist mehr als nur Kontrolle und Datenschutz – sie umfasst vor Allem das Enablement und die Gewinnung von Erkenntnissen. Data Governance besteht aus einem Rahmen von Prozessen,

Read more

Serie | Data Integration (Migration & ETL) – Einführung & Anwendungsbeispiel in Databricks Databricks ist eine Multi-Cloud Lakehouse Plattform basierend auf Apache Spark, welche den gesamten Prozess der Datenverarbeitung abdeckt: Data Engineering, Data Science und Machine Learning. Databricks wird auf den größten Cloud-Plattformen Microsoft Azure, Google Cloud und Amazon AWS angeboten. Die Databricks Umgebung übernimmt dabei die Verwaltung von Spark

Read more

Serie | Data Science (ML & AI) – Entwicklung baumartiger Regressionsverfahren zur Prädiktion von Airbnb-Preisen Während es im ersten Teil um die Architektur und Funktionsweise von baumartigen Regressionsverfahren ging, folgt nun die praktische Anwendung. Dazu werden ein Regressionsbaum, eine Random Forest Regression sowie eine Gradient Boosting Regression entwickelt, welche die Preise von Airbnb-Unterkünften prädiktieren.   Beschreibung des Datensatzes Der Datensatz

Read more

Serie | Data Science (ML & AI) – Architektur und Funktionsweise von baumartigen Regressionsverfahren Entscheidungsbäume eignen sich als Machine Learning Modelle zur Lösung komplexer Klassifikations- und Regressionsprobleme. Zudem bilden Entscheidungsbäume die wesentliche Komponente von Random Forest und Gradient Boosting Verfahren.   Aufbau eines Regressionsbaums Der Wurzelknoten stellt den Beginn des Baums dar und repräsentiert den gesamten Datensatz. Von dort ausgehend

Read more

Serie | Data Governance – Einführung in Microsoft Purview Das Governanceportal Microsoft Purview bietet umfassende Lösungen zur Datenverwaltung, die helfen können, lokale, Multicloud- und Software-as-a-Service-Daten (SaaS) zu verwalten. Mit dem Microsoft Purview-Governanceportal kann man folgendes erreichen: Erstellung einer ganzheitlichen und aktuellen Übersicht über die aktuelle Datenlandschaft, mithilfe einer automatisierten Datenermittlung, Klassifizierung und Verfolgung der Daten nutzen. Befähigen Sie Data Owners,

Read more

Serie | Data Integration (Migration & ETL) – Schritte zur erfolgreichen Umsetzung eines DevOps-Projekts: Tools, Techniken und Best Practices   Die Implementierung eines DevOps Projektes kann eine Herausforderung sein, wenn sie noch nie zuvor damit gearbeitet haben. In diesem Artikel werden wir Ihnen die grundlegenden Schritte zur Umsetzung eines DevOps-Projektes aufzeigen und die verschiedenen Bestandteile erklären. Im Folgenden werden Ihnen

Read more

Serie | Data Integration (Migration & ETL) – Einführung in Azure DevOps  Was ist Azure DevOps  Azure DevOps ist eine Plattform, die eine kollaborative Kultur und eine Reihe von Prozessen unterstützt, die Entwickler, Projektmanager und Mitwirkende bei der Entwicklung von Software zusammenbringen. Dafür können Sie mit Azure DevOps Ihre Arbeit planen, bei der Codeentwicklung zusammenarbeiten und Anwendungen erstellen und bereitstellen.

Read more

Serie | Data Science (ML & AI) – Entwicklung eines neuronalen Netzes zur Prädiktion von Airbnb-Preisen Nachdem im letzten Teil die Architektur und Funktionsweise von neuronalen Netzen beschrieben wurde, geht es nun um die praktische Anwendung. Dazu wird ein neuronales Netz entwickelt, welches die Preise von Airbnb-Unterkünften prädiktiert.   Beschreibung des Datensatzes Der Datensatz zum Training des neuronalen Netzes ist

Read more

Serie | Data Science (ML & AI) – Architektur und Funktionsweise von neuronalen Netzen Architektur und Funktionsweise von neuronalen Netzen Neuronale Netze bestehen aus mehreren Schichten von miteinander verbundenen Neuronen zur Simulation des menschlichen Gehirns. Im Gegensatz zu traditionellen Machine Learning Algorithmen, wie Linearer Regression, profitieren neuronale Netze durch die Vielzahl an Parametern von einer enormen Menge an Trainingsdaten. Neuronale

Read more

Serie – Data & AI Plattformen | Einführung in Palantir Foundry    Was ist Palantir Foundry? Foundry wurde neben Gotham und Apollo von Palantir Technologies entwickelt, einem amerikanischen Unternehmen, das sich auf Datenanalyse und -integration spezialisiert hat. Die Plattform wurde ursprünglich für Regierungsbehörden entwickelt, ist aber heute auch bei großen Unternehmen in verschiedenen Branchen wie Finanzen, Gesundheitswesen und Logistik im

Read more