Ingénieur Big Data freelance : Spark, Iceberg, Delta

Un Data Engineer "classique" pipeline des dizaines de gigaoctets par jour ; un Ingénieur Big Data raisonne en téraoctets, parfois en pétaoctets, et chaque optimisation de quelques pourcents se chiffre en milliers d'euros de coût cloud économisés. Ce profil reste très demandé en banque, télécom, retail et énergie. Voici les cas d'usage concrets qui dominent le marché et ce qu'ils impliquent côté compétences et TJM.

Cas d'usage 1 : moteurs de risque en banque de détail

Calcul quotidien d'expositions de crédit sur plusieurs milliards de lignes. Stack typique : Spark on Kubernetes, tables Delta Lake ou Iceberg, orchestration Airflow ou Argo Workflows. L'ingénieur Big Data optimise les partitions, les broadcast joins, le bucketing, et chasse les data skew qui font exploser les temps de calcul.

Cas d'usage 2 : data platform télécom

Ingestion temps réel de signalisations réseau via Kafka, traitement Spark Structured Streaming ou Flink, persistance Iceberg, exposition pour la BI et l'IA. Sujets clés : exactly-once, gestion des watermarks, compaction des petits fichiers, schema evolution.

Cas d'usage 3 : analytique retail omnicanal

Consolidation tickets de caisse, e-commerce, fidélité, supply chain. Volume : 10 à 50 To/an de données fraîches, plusieurs années conservées. Stack : Databricks ou EMR, modèles Delta Live Tables, traitement batch quotidien, agrégats temps réel pour les opérations.

Cas d'usage 4 : datalake d'entreprise

Migration depuis un Hadoop legacy (HDFS + Hive) vers un lakehouse cloud (S3 + Iceberg + Trino). C'est un chantier classique actuel : reprise des partitions, refonte des jobs Spark, adoption d'un nouveau catalogue (Glue, Polaris, Unity).

Cas d'usage 5 : moteurs de recommandation

Pré-calcul de features et de signaux pour recommandation, sur des historiques massifs. L'ingénieur Big Data alimente le feature store des équipes IA et garantit la fraîcheur et la reproductibilité.

Distinction clé vs Data Engineer

• Volume : >To/Po vs Mo/Go.
• Outils : Spark distribué, Flink, Iceberg/Delta vs dbt, Airflow, Snowflake.
• Compétences profondes : tuning JVM, partitions, shuffle, plan d'exécution Catalyst.
• Coût : un ingénieur Big Data doit raisonner FinOps dès le design.

Stack

• Spark 3.5/4.x (Photon sur Databricks).
• Apache Iceberg (montée en puissance impressionnante, polyvalent multi-moteurs).
• Delta Lake (très ancré Databricks).
• Apache Flink pour le streaming exigeant.
• Trino / Starburst pour la requête fédérée.
• Kafka (Confluent, MSK, Redpanda).
• Kubernetes + opérateur Spark, ou Databricks managé.
• Orchestration : Airflow, Dagster, Argo.

Compétences à muscler

• Maîtrise du plan d'exécution Spark (Catalyst, AQE).
• Tuning : taille des partitions (~128 Mo), broadcast join thresholds, salting sur skew.
• Format Parquet + Iceberg/Delta : compaction, vacuum, time travel, branching.
• Sécurité (chiffrement at-rest/in-transit, IAM, masquage).

TJM — par niveau

• Confirmé (3–5 ans) : 650–800 EUR/jour.
• Senior (6–9 ans) : 800–950 EUR/jour.
• Lead / staff (10+ ans) : 950–1000 EUR/jour, davantage en banque pour des chantiers critiques.

Les profils combinant Spark expert + cloud (AWS EMR/Glue, Azure Databricks/Synapse, GCP Dataproc) + Iceberg sont parmi les mieux valorisés du marché.

Industries qui recrutent le plus

Banque/assurance (risque, lutte anti-fraude), télécom (réseau, facturation), retail (omnicanal), énergie (IoT compteurs), assurance santé, secteur public (Insee, ministères modernisés).

Pièges à éviter

• Sous-dimensionner les clusters → jobs qui timeout, coûts cachés.
• Sur-dimensionner → facture cloud délirante.
• Ignorer la compaction Iceberg/Delta → des millions de petits fichiers.
• Ne pas instrumenter les jobs (métriques, logs structurés).

Pour aller plus loin

Pour comparer ce profil avec Data Engineer cloud, Data Architect ou MLOps, parcourez Voir tous les métiers IT.

Comment se préparer aux entretiens techniques

Les entretiens Big Data portent typiquement sur :

• Cas de design : "comment ingérez-vous 500 To/an de logs en near real-time avec une latence < 5 minutes et un budget contraint ?". On attend de vous une réponse structurée : volumes, débit, latence, stockage, compute, coût, monitoring, failover.
• Spark deep dive : différence entre narrow et wide transformations, fonctionnement du shuffle, intérêt de l'Adaptive Query Execution, gestion du data skew.
• Iceberg vs Delta vs Hudi : forces et faiblesses, scénarios de choix, gestion des transactions.
• Mise en situation : "ce job met 4h, comment le réduire à 30 minutes ?" — démarche d'investigation (plan d'exécution, métriques Spark UI, taille des shuffles, broadcast joins manqués).
• Code live : exercice PySpark ou Scala Spark sur petite donnée pour observer votre style.

Outils de productivité pour le freelance Big Data

• Spark UI + History Server maîtrisés à fond.
• Databricks notebooks ou Jupyter avec connecteur Spark.
• VS Code + extension Pyspark + Iceberg.
• dbeaver pour explorer Iceberg via Trino/Spark SQL.
• Lakefs pour des branches data (utile en environnement test).

Différence entre mission "build" et "run"

• Build : conception et implémentation de pipelines neufs — chantiers de 4–9 mois, TJM en haut de fourchette.
• Run/optimisation : tuning, troubleshooting, ajustement de coûts — missions plus courtes mais souvent renouvelées, TJM milieu de fourchette.
• Hybride : reprise + évolution d'une plateforme existante — c'est le plus fréquent côté grands comptes.

ForTeam IT à vos côtés

Le marché Big Data en freelance est exigeant : on attend de vous des résultats mesurables sur la perf et le coût. Vous n'êtes pas seul — ForTeam IT vous accompagne dans la sélection de missions à forte valeur ajoutée, le positionnement TJM et la mise en relation avec des grands comptes français disposant de plateformes data conséquentes.

Rejoindre la communauté