En tant que développeur web et SEO, j’ai passé des années à concevoir des clients légers qui dialoguent avec des services distants. Dans cet article je décris, pas à pas, comment envoyer des requêtes HTTP en Python — du simple GET au POST avec corps JSON — et comment lire les headers, gérer les erreurs et sécuriser la communication client-serveur. Je m’appuie sur des situations vécues : intégration d’une API interne pour une startup, debugging d’erreurs SSL sur macOS, et optimisation de scripts de scraping pour réduire les appels réseau. Vous trouverez des extraits pratiques, des astuces pour la production, et des références vers des ressources avancées que j’utilise régulièrement pour déployer des outils robustes et performants.
Réponse rapide : Pour effectuer des requêtes HTTP en Python, installez la bibliothèque requests (pip install requests), utilisez requests.get(url, params=…) pour les GET, requests.post(url, json=…) pour les POST et consultez response.status_code, response.headers et response.json() pour récupérer les données et le statut. Gérez les certificats SSL, les timeouts et les proxies pour une communication fiable avec les API.
- Installer requests : pip install requests
- GET / POST : requests.get / requests.post
- Traiter JSON : response.json()
- Gérer headers & cookies : headers=…, cookies=…
- Sécurité & production : timeouts, verify, proxies
Client HTTP Python : envoyer des requêtes GET et POST avec requests
J’ai commencé par remplacer un client basé sur http.client par la bibliothèque requests pour gagner en lisibilité et robustesse. Avec requests, écrire un GET ou un POST devient direct et moins verbeux.
Exemple simple : pour récupérer des ressources, j’utilise requests.get(‘https://api.example.com/data’, params={‘page’:1}). Pour envoyer un JSON, j’appelle requests.post(‘https://api.example.com/item’, json=payload).
Pourquoi choisir la bibliothèque requests pour vos API
J’ai adopté requests car elle simplifie la syntaxe et gère automatiquement de nombreux cas (cookies, encodage, sessions). requests est devenue un standard pour interagir avec des API et pour du scraping contrôlé.
Si vous construisez une API client, pensez aussi à lire comment créer une API REST en Python via créer une API REST en Python pour aligner vos endpoints et vos clients.
Gérer les headers, JSON, cookies et codes d’état
La première chose que je vérifie après une requête est le code d’état. response.status_code indique si la requête a réussi ou non. En production, j’utilise des conditions explicites pour gérer 2xx, 4xx et 5xx.
Les headers renvoient des métadonnées utiles : Content-Type, Cache-Control, etc. Vous pouvez accéder simplement à response.headers[‘Content-Type’] sans vous soucier de la casse.
Lire et envoyer des headers
Pour envoyer un header custom, je passe un dict à headers. Exemple courant : définir un User-Agent réaliste pour éviter d’être bloqué lors de scraping :
headers = {‘User-Agent’: ‘MyApp/1.0 (+https://example.com)’}
Pour des exemples de scraping responsable et l’utilisation conjointe de BeautifulSoup et requests, consultez web scraping avec BeautifulSoup et requests.
Envoyer et recevoir du JSON
Lors d’un POST JSON, j’utilise toujours l’argument json= pour que requests encode le payload et mette le bon Content-Type :
response = requests.post(url, json=payload)
Ensuite, response.json() me donne directement un dict Python prêt à être consumé. Pour éviter les plantages, j’entoure souvent l’appel d’un try/except pour RequestException.
Pratiques avancées : timeouts, verify SSL et proxies
En production, laisser une requête en attente indéfiniment est une erreur fréquente. J’impose toujours un timeout : requests.get(url, timeout=(2.5, 4)). Cela évite de bloquer les workers.
Si vous devez passer par un proxy pour des raisons de confidentialité ou d’architecture, requests accepte l’option proxies. Pour une approche détaillée sur les proxys en scraping j’utilise régulièrement le guide sur les proxies pour Scrapy.
Erreur SSL sur macOS : mon anecdote
Lors d’un déploiement local sur macOS, j’ai rencontré ssl.SSLError: CERTIFICATE_VERIFY_FAILED. La solution a été d’exécuter le script d’installation des certificats fourni avec Python sur macOS (Install Certificates.command). Sur mes machines Linux le problème n’est pas apparu.
Astuce : ne désactivez pas verify=True en production sans comprendre les risques. Pour des scénarios courts ou tests, verify=False peut dépanner, mais ce n’est pas recommandé pour la production.
Bonnes pratiques et checklist pour des requêtes HTTP robustes
Depuis que je maintiens des clients HTTP pour des sites à fort trafic, j’ai compilé une liste d’habitudes à adopter systématiquement.
- Utiliser la bibliothèque requests pour sa simplicité et sa compatibilité avec la majorité des APIs.
- Spécifier timeout pour éviter les blocages.
- Gérer les codes d’état et implémenter des retries pour les 5xx.
- Valider les certificats SSL et éviter verify=False en production.
- Utiliser des proxies lorsque nécessaire pour la confidentialité ou la répartition des appels.
Pour enrichir vos scripts, je vous recommande aussi d’explorer des snippets Python utiles et les meilleures bibliothèques Python en 2025 que j’installe systématiquement dans mes environnements.
Cas pratique : envoyer des données de formulaire et JSON
Sur un projet client, j’avais à la fois des endpoints acceptant form-data et d’autres exigeant JSON. J’ai standardisé l’API client ainsi :
Pour form-data : requests.post(url, data=formdict)
Pour JSON : requests.post(url, json=payload)
Cette distinction m’a évité des erreurs d’interprétation côté serveur et des retours 415 Unsupported Media Type.
Intégration avec d’autres parties de votre stack
L’échange de données via HTTP ne vit pas seul : on stocke, on transforme, on planifie. J’intègre régulièrement les réponses JSON dans des bases SQLite ou Postgres, et j’automatise certaines tâches.
Si vous envisagez de persister les résultats, ce guide sur SQLite et SQLAlchemy et mon tutoriel sur PostgreSQL en Python sont des compléments utiles.
Petite liste d’outils que j’utilise
- requests : client HTTP principal
- BeautifulSoup : parsing HTML pour scraping
- time.sleep pour réguler les appels (voir gestion des pauses avec time.sleep)
- Proxies & rotating IPs pour éviter le throttling
Comment envoyer un JSON dans une requête POST avec requests ?
Utilisez requests.post(url, json=payload). requests convertit automatiquement le dict Python en JSON et définit Content-Type: application/json. Vérifiez response.status_code et utilisez response.json() pour récupérer les données renvoyées.
Que faire si j’obtiens CERTIFICATE_VERIFY_FAILED sur macOS ?
Exécutez le script Install Certificates.command fourni avec votre installation Python sur macOS pour mettre à jour les certificats racines. N’utilisez verify=False qu’à des fins de tests, jamais en production.
Comment gérer les en-têtes et les cookies dans requests ?
Passez un dictionnaire à headers= pour personnaliser les en-têtes, et à cookies= pour envoyer des cookies. Après une réponse, utilisez response.cookies pour lire les cookies renvoyés par le serveur.
Quand utiliser un proxy avec requests ?
Utilisez des proxies pour préserver la confidentialité, éviter les blocages géographiques ou répartir la charge d’appels vers une API. Configurez proxies={‘http’: ‘http://…’,’https’:’https://…’} et testez les performances et la latence.