Cookie Hinweis

Wir verwenden Cookies, um Ihnen ein optimales Webseiten-Erlebnis zu bieten. Dazu zählen Cookies, die für den Betrieb der Seite notwendig sind, sowie solche, die lediglich zu anonymen Statistikzwecken, für Komforteinstellungen oder zur Anzeige personalisierter Inhalte genutzt werden. Sie können selbst entscheiden, welche Kategorien Sie zulassen möchten. Bitte beachten Sie, dass auf Basis Ihrer Einstellungen womöglich nicht mehr alle Funktionalitäten der Seite zur Verfügung stehen. Weitere Informationen finden Sie in unseren Datenschutzhinweisen .

Essentiell

Diese Cookies sind für die Funktionalität unserer Website erforderlich und können nicht deaktiviert werden.

Name Webedition CMS
Zweck Dieses Cookie wird vom CMS (Content Management System) Webedition für die unverwechselbare Identifizierung eines Anwenders gesetzt. Es bietet dem Anwender bessere Bedienerführung, z.B. Speicherung von Sucheinstellungen oder Formulardaten. Typischerweise wird dieses Cookie beim Schließen des Browsers gelöscht.
Name econda
Zweck Session-Cookie für die Webanalyse Software econda. Diese läuft im Modus „Anonymisiertes Messen“.
Statistik

Diese Cookies helfen uns zu verstehen, wie Besucher mit unserer Webseite interagieren, indem Informationen anonym gesammelt und analysiert werden. Je nach Tool werden ein oder mehrere Cookies des Anbieters gesetzt.

Name econda
Zweck Measure with Visitor Cookie emos_jcvid
Externe Medien

Inhalte von externen Medienplattformen werden standardmäßig blockiert. Wenn Cookies von externen Medien akzeptiert werden, bedarf der Zugriff auf diese Inhalte keiner manuellen Zustimmung mehr.

Name YouTube
Zweck Zeige YouTube Inhalte
Name Twitter
Zweck Twitter Feeds aktivieren
Data Science Seminar

Best practices for parallelizing data pipelines

Abstract

With the last decade's developments, we handle much more data and have more computing power available. This increase isn't only visible in data centres but can also be seen on personal computers. In all circumstances, we can leverage the increase only by utilising several compute cores simultaneously, as the number of cores has significantly increased. In contrast, the increase in the performance of a single core has converged.

In this talk, we want to show best practices for adapting your data pipeline to maximise the usage of the available computing power. We will show general patterns that you can apply independently of used technology. To better illustrate these techniques, we will show practical examples in Python.

Biosketch Uwe Korn

Uwe Korn is a CTO at the data science company QuantCo. His expertise is in building scalable architectures for machine learning services and the teams & culture around them. Nowadays, he focuses on the data engineering infrastructure needed to provide the building blocks to bring machine learning models into production. As part of his work to provide an efficient data interchange, he became a core committer to the Apache Parquet, Apache Arrow and conda-forge projects.

https://uwekorn.com/

to top
powered by webEdition CMS