DataWatch – Détails, épisodes et analyse

☝️ Dans cet épisode, Bertrand et Axel discutent de l'utilisation de Polars chez Decathlon, de la comparaison entre Polars et Spark, de Lance comme nouveau format de données, et de l'impact de l'IA sur l'observabilité des données avec Monte Carlo. Ils explorent comment ces outils et technologies peuvent optimiser le traitement des données et améliorer l'efficacité des équipes data.

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Newsletter de Bertrand : https://datayoka.notion.site/1355071ba1ca80189240d83808f5994d

➕ Blog de Bertrand : https://datayoka.com/blog

00:00 Introduction et présentation des sujets

00:58 Utilisation de Polars chez Décathlon

08:48 Comparaison entre Polars et Spark

16:33 Lance : un nouveau format de données

27:54 Monte Carlo et l'IA pour l'observabilité

☝️ Dans cet épisode, Bertrand et Axel explorent les nouveautés de Python 3.14, notamment le T-String, les améliorations de débogage, et les implications du GIL sur les performances. Ils discutent également des concepts de Data Redaction et Data Masking, ainsi que des meilleures pratiques pour la gestion des données sensibles.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

Liens vers les articles :

👉 Les nouveautés de Python 3.14 : https://www.docstring.fr/blog/les-nouveautes-de-python-314/

👉 Data redaction vs. data masking: What's the difference? : https://www.rudderstack.com/blog/data-redaction-vs-data-masking

00:00 Introduction au Data Engineering et Python 3.14

02:00 Les nouveautés de Python 3.14 : T-String et F-String

06:13 Améliorations de débogage et annotations différées

09:06 Le GIL et ses implications sur les performances

10:57 Just-In-Time et multi-interpréteur dans Python

16:09 Nouvelles fonctionnalités de compression et gestion des erreurs

18:37 Data Redaction vs Data Masking : Concepts et applications

27:52 Conclusion et réflexions sur la conformité des données

☝️ Dans cet épisode, je parle de l’utilisation de SQL avec python, de Apache Iceberg vs Apache Hudi, la preview du Vector Search sur MariaDB, la sortie de la version 2.10.0 d’Airflow et sur les différents niveaux de Data Engineers et Software Engineers 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles 👉 Utilisation de SQL avec Python 👉 Apache Iceberg vs Apache Hudi 👉 Preview de Vector Search sur MariaDB 👉 Apache Airflow 2.10.0 👉 Les niveaux de Data et Software Engineer

☝️ Dans cet épisode, je parle de ScaNN sur BigQuery Vector Search, des nouveautés de Databricks Workflows, de InstantDB, de tables de faits et de dimensions et de migration d’Apache Spark vers Ray chez Amazon. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles 👉 Preview de l’algorithme ScaNN sur BigQuery Vector Search 👉 Les nouveautés de Databricks Worklfows 👉 Présentation de InstantDB utilisé dans Notion ou Figma 👉 Les tables de faits et de dimension 👉 Explication de la migration d’Apache Spark vers Ray chez Amazon

☝️ Dans cet épisode, je parle de 5 erreurs en Data Engineering, des bénéfices économiques dans la mise en place d’une politique de cycle de vie du stockage, de Snowflake Horizon, de l’utilisation de la simplicité pour résoudre les problèmes, et de différentes techniques de Data Modeling. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 5 erreurs en Data Engineering

👉 Les économies d’une politique de cycle de vie du stockage

👉 Snowflake Horizon pour une gouvernance unifiée

👉 L’utilisation de la simplicité pour résoudre les problèmes

👉 Différentes techniques de Data Modeling

☝️ Dans cet épisode, nous parlons de souveraineté des données, de Exadata Exascale de Oracle, de Data Timeliness, de 3 étapes pour la mise en place de Data Quality et de la croissance des Data Centers. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Cette semaine, je serai exceptionnellement seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 La souveraineté des données

👉 Exadata Exascale de Oracle

👉 Data Timeliness

👉 3 étapes pour la mise en place de Data Quality

👉 La croissance fulgurante des Data Centers

☝️ Pour ce premier épisode, nous parlons de la version 1.8 de dbt, de réduction des coûts sur Snowflake, de Pandas vs Polars et de Python sur SQL Server. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles 👉 DBT version 1.8 👉 Réduction des coûts sur Snowflake 👉 Pandas vs Polars 👉 Python sur SQL Server

Dans cet épisode de DataWatch, Bertrand Fabre explore un article sur Monte Carlo, un outil de data quality et d'observabilité. Il partage ses réflexions sur les défis de la qualité des données, notamment la recherche des causes racines des anomalies, et discute des solutions possibles pour améliorer l'efficacité des équipes Data et IA.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

Identification des causes racines

☝️ Dans cet épisode, nous parlons de Data Reliability, de CI/CD pour les Data Engineers, de l'utilisation du mode "append-only" de Datasream sur BigQuery et des tendances et opportunités actuelles en data.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 L'utilisation du mode "append-only" de Datasream sur BigQuery

👉 Data Reliability

👉 Tendances et opportunités actuelles en data

👉 CI/CD pour les Data Engineers

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre abordent des sujets clés de la Data Engineering, notamment Cloud Run, l'essor de Rust dans la Data Engineering, et les améliorations de BigQuery. Cloud Run se distingue par sa capacité à s'adapter rapidement aux besoins, tandis que Rust offre des performances supérieures et des économies de coûts significatives. BigQuery, quant à lui, évolue avec des techniques de vectorisation avancées pour optimiser la gestion des données.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠Axel sur LinkedIn⁠

👉 ⁠Bertrand sur LinkedIn⁠

➕ ⁠Newsletter de Bertrand ⁠

➕ ⁠Blog de Bertrand⁠

Articles👉 Google Cloud Run propose des GPU sans serveur pour l'IA et le traitement par lots : 👉 L'essor de Rust dans l'ingénierie des données : 👉 Améliorations de gestion de données de BigQuery et de sa vectorisation