Client Angie
Des programmes Python qui traitent 5 000 à 10 000 profils Twitter et LinkedIn par étude, un volume que personne ne couvre à la main.
- Année
- 2020 — 2021
- Client
- Angie · agence de communication
- Stack
- Python · Scraping · Twitter · LinkedIn
Contexte
Angie est une agence de communication. Son pôle data conseille des personnalités publiques, des responsables politiques et des entreprises sur leur communication. Pour les conseiller, l'équipe a besoin de savoir ce qui se dit sur un sujet, qui le dit, et devant combien de personnes.
Ces informations sont publiques, mais dispersées sur Twitter et LinkedIn, un profil à la fois. Une étude pouvait porter sur 5 000 à 10 000 profils. À la main, ce volume est hors de portée : sans programme pour le faire à la place de l'équipe, l'étude n'a tout simplement pas lieu.
Mon rôle
Ma première mission en freelance, obtenue après un stage dans la même équipe. J'étais seul sur le sujet. J'ai écrit les programmes qui récupèrent les informations, je les ai nettoyées et mises au même format, puis j'ai automatisé les étapes qui revenaient à chaque étude.
Approche
J'ai tout développé en Python.
La vitesse d'abord
Traités un par un, 10 000 profils demandent bien trop de temps. J'ai mesuré où ce temps se perdait, puis j'ai fait traiter plusieurs profils en même temps. C'est ce qui rend une étude de cette taille réalisable dans les délais de l'agence.
La fiabilité ensuite
Twitter et LinkedIn limitent la récupération automatique et modifient souvent leurs pages. Le programme espace donc ses demandes, reprend là où il s'est arrêté après une coupure, et je l'adaptais dès qu'une page changeait.
La qualité enfin
Les informations récupérées arrivent en désordre. Je supprimais les doublons et j'alignais les formats des deux réseaux, pour que l'équipe travaille sur un seul fichier propre plutôt que sur deux exports à recoller.
Résultat
Des études que le pôle data ne pouvait pas mener sont devenues possibles. Analyser 5 000 profils n'était pas une question de temps, c'était hors d'atteinte.
Les étapes répétées à chaque étude tournent sans intervention, et l'équipe reçoit des données directement exploitables.