Tous les projets
Angie
Des scripts d'extraction de données rendus 65 % plus rapides grâce au parallélisme Python.
Contexte
Le travail portait sur des données extraites du web et des réseaux sociaux. Les scripts d'extraction tournaient en séquence, et leur durée limitait ce que l'équipe pouvait collecter.
Mon rôle
Data Engineer en stage, cinq mois, sur l'extraction et le scraping.
Approche
Paralléliser l'extraction en Python plutôt que réécrire les scripts, et étendre le scraping aux réseaux sociaux.
Résultat
65 % de temps gagné sur les extractions.