Introduction

Lorsque vous travaillez avec des projets hébergés sur GitLab, il est souvent nécessaire de télécharger des fichiers à partir du référentiel pour diverses raisons telles que la récupération de fichiers de configuration, de données ou de code source. Dans cet article, nous allons explorer comment utiliser l'API de GitLab avec curl pour télécharger efficacement des fichiers depuis votre projet GitLab.

Prérequis

Avant de commencer, assurez-vous d'avoir curl installé sur votre système et avoir un accès admin sur un projet hébergé sur Gitlab. Si ce n'est pas déjà le cas, vous pouvez l'installer en utilisant le gestionnaire de paquets de votre système d'exploitation.

Comprendre l'API de GitLab

L'API de GitLab offre une gamme complète d'endpoints permettant d'interagir avec les projets, les fichiers, les pipelines, les utilisateurs, etc.

L'API REST de Gitlab offre aux développeurs un moyen puissant d'automatiser des tâches, d'intégrer GitLab dans d'autres outils et de créer des applications personnalisées.

Avant d'utiliser l'API GitLab, l'authentification est requise. GitLab prend en charge plusieurs méthodes d'authentification, y compris les jetons d'accès personnels, les jetons d'authentification OAuth 2.0 et les clés SSH. Vous pouvez générer un jeton d'accès personnel dans vos paramètres utilisateur pour l'utiliser avec l'API.

Principes de base

• L'API REST GitLab suit les principes RESTful, ce qui signifie qu'elle utilise les méthodes HTTP standard (GET, POST, PUT, DELETE) pour effectuer des opérations sur les ressources.

• Les réponses de l'API sont généralement au format JSON, ce qui les rend faciles à analyser et à manipuler dans différents langages de programmation.

Fonctionnalités clés

• Gestion des projets : Création, édition et suppression de projets, gestion des membres du projet, gestion des problèmes, des merge requests, des wikis, etc.

• Gestion des utilisateurs : Création, édition et suppression d'utilisateurs, gestion des rôles et des permissions.

• Gestion des fichiers : Téléchargement, téléversement, édition et suppression de fichiers dans les référentiels GitLab.

• Gestion des pipelines : Création, démarrage, annulation et suivi des pipelines CI/CD.

• Gestion des groupes : Création, édition et suppression de groupes de projets, gestion des membres du groupe, etc.

En savoir + https://docs.gitlab.com/ee/api/rest/

Le client python https://github.com/python-gitlab/python-gitlab

Obtenir un Jeton d'Accès

Avant de pouvoir utiliser l'API de GitLab, vous devez générer un jeton d'accès dans vos paramètres de compte GitLab.

Ce jeton d'accès sera utilisé pour authentifier vos requêtes API.

Après avoir cliqué sur Create project access token

Obtenir les informations sur le projet et le job Gitlab qui contient l'artifact

Informations sur le projet

Informations sur le job

Utiliser cURL pour Télécharger un Fichier

Qu’est-ce que cURL ?

cURL est un outil de ligne de commande open source utilisé pour transférer des données vers et depuis un serveur. Il est extrêmement polyvalent et prend en charge divers protocoles, notamment HTTP, FTP, SMTP et bien d'autres. Il est généralement utilisé pour tester et interagir avec des API, télécharger des fichiers et effectuer diverses autres tâches impliquant une communication réseau.

Nous allons utiliser curl pour envoyer une requête GET à l'API de GitLab, en spécifiant l'URL de l'API correspondant au fichier que vous souhaitez télécharger.

Incluez le jeton d'accès dans l'en-tête de la requête pour l'authentification.

Assurez-vous de spécifier le chemin du fichier dans l'URL de l'API, ainsi que les détails du projet et du job avec l'archive nécessaire.

Exemple Pratique

$ ./download_gitlab_artifact.sh id_du_projet   id_du_job   token_du_projet   nom_archive_local   limite_vitesse_de_téléchargement

id_du_projet  : 343
id_du_job : 3045 (qui contient la ressource à télécharger  en savoir + https://docs.gitlab.com/ee/ci/jobs/job_artifacts.html)
token_du_projet :   glpat-Ukzx7BEpYizJ9cBm85JH
nom_archive_local  : artifacts.zip
limite_vitesse_de_téléchargement : 1G

Curl infos :

-A User agent : Lorsque vous effectuez un scraping Web cURL sans définir explicitement un agent utilisateur, cURL en fournit un générique par défaut. Cet UA par défaut ressemble généralement à quelque chose comme User-Agent : curl/7.79.1. Le format exact peut varier en fonction de votre version et de votre plateforme cURL.

Cependant, l'utilisation de l'agent utilisateur cURL par défaut ou le fait de ne pas en spécifier un permet aux sites Web de détecter plus facilement que la demande provient d'un script automatisé. Cela peut entraîner le signalement ou le blocage de votre grattoir. Changer l'agent utilisateur cURL par défaut est essentiel pour réduire le risque.

-X Get : Spécifie une méthode de requête personnalisée à utiliser lors de la communication avec le serveur HTTP.

--insecure : Par défaut, la sécurité de chaque connexion SSL créée par Curl est vérifiée. Chaque connexion est vérifiée en vérifiant que le certificat du serveur est signé par une autorité de confiance, contient le nom de domaine correct et n'a pas expiré. Le magasin de certificats racine de confiance Curl est livré avec une installation Curl et comprend une liste d'autorités de certification, qui est utilisée pour valider les certificats de serveur. L'option de ligne de commande -k permet à Curl de continuer à travailler sur des connexions non sécurisées qui seraient autrement considérées comme non sécurisées et bloquées.

--output : Le paramètre vous permet d'enregistrer le fichier téléchargé sur un lecteur local sous le nom spécifié.

-L ou --location : Par défaut, Curl ne suit pas les redirections et affiche le contenu de la page 300x (le cas échéant). Pour suivre les redirections avec Curl, vous devez utiliser l'option de ligne de commande -L ou --location. Le serveur indique que la ressource a été déplacée vers un nouvel emplacement à l'aide du code de réponse 3XX et fournit la nouvelle adresse avec l'en-tête HTTP Location.

--header : Pour envoyer un en-tête HTTP avec une requête Curl, vous pouvez utiliser l'option de ligne de commande --header et transmettre le nom et la valeur de l'en-tête au format « Clé : Valeur ». Le nombre d'en-têtes HTTP est illimité. Vous pouvez ajouter autant d'en-têtes à la requête Curl que nécessaire.

--limit-rate : Par défaut, curl utilise la bande passante maximale disponible, mais vous pouvez souvent ralentir les choses pour les tests.

En savoir plus https://linux.die.net/man/1/curl

Conclusion

En utilisant curl avec l'API de GitLab, il est facile et efficace de télécharger des fichiers depuis votre projet GitLab. En comprenant les principes de base de l'API et en suivant les bonnes pratiques de sécurité, vous pouvez facilement intégrer ce processus dans vos flux de travail de développement et de gestion de projet.