Inférence sans serveur avec la plateforme Gradient

L'inférence sans serveur est, à juste titre, l'un des sujets les plus chauds tant dans les cercles techniques que non techniques des utilisateurs d'IA, et pour de bonnes raisons. Bien que le contrôle de chaque aspect d'un déploiement soit souvent nécessaire pour déployer des modèles personnalisés, l'approche sans serveur élimine les tracas liés à la maintenance et à la gestion d'un déploiement de modèle et d'un point de terminaison API. Cela peut être extrêmement utile pour une myriade de cas d'utilisation différents d'LLM agentic.

Dans ce tutoriel, nous montrerons comment commencer avec l'inférence sans serveur sur la plateforme Gradient en utilisant l'API DigitalOcean. Par la suite, nous discuterons de certains cas d'utilisation potentiels de la méthodologie en production et dans les flux de travail quotidiens.

Accéder à l'inférence sans serveur sur la plateforme Gradient

Pour commencer, nous pouvons soit utiliser l'API DigitalOcean, soit la Cloud Console. Examinons chaque méthodologie.

Étape 1a : Créez une clé API DigitalOcean

Pour commencer, vous devez d'abord créer votre propre compte DigitalOcean et vous connecter. Une fois que vous avez fait cela, naviguez vers l'espace d'équipe de votre choix. À partir de là, nous allons créer une clé API DigitalOcean. Cela nous aidera à créer notre jeton d'accès au modèle plus tard, nous pouvons donc en fait sauter cette étape et aller à la section « Étape 2b : Créer une clé d'accès au modèle avec la console Cloud ».

Utilisez la barre de navigation sur le côté gauche de la page d'accueil, et faites défiler vers le bas jusqu'à ce que vous voyiez « API ». Cliquez pour ouvrir la page d'accueil de l'API. Nous pouvons ensuite utiliser le bouton en haut à droite pour créer une nouvelle clé.

Sur la page de création de clé, nommez votre clé comme nécessaire et donnez les autorisations appropriées. Pour ce faire, soit donnez toutes les autorisations, soit faites défiler jusqu'à « genai » dans la sélection de portée personnalisée et sélectionnez tout. Ensuite, créez la clé. Enregistrez cette valeur pour plus tard.

Étape 2A : Créez une clé d'accès au modèle avec l'API

Ensuite, nous allons créer notre clé d'accès au modèle pour l'inférence sans serveur de Gradient. Pour ce faire, nous pouvons soit utiliser la console, soit l'API. Pour utiliser l'API, utilisez la clé API sauvegardée précédemment avec la requête curl suivante dans votre terminal. Remplacez la valeur de « $DIGITALOCEAN_TOKEN » par la vôtre.

curl -X POST -H 'Authorization: Bearer $DIGITALOCEAN_TOKEN' https://api.linux-console.net/v2/gen-ai/models/api_keys

Cela va générer notre clé d'accès au modèle. Sauvegardez cette valeur pour plus tard. Nous en aurons besoin pour interroger le modèle.

Étape 2B : Créez une clé d'accès au modèle avec la console Cloud

Si nous voulons utiliser la console, il suffit de naviguer vers l'onglet de la plateforme Gradient "Inference sans serveur" dans la Console. Une fois là-bas, utilisez le bouton en bas à droite pour "Créer une clé d'accès au modèle".

Ensuite, tout ce que nous avons à faire est de nommer notre clé. Enregistrez la valeur de sortie pour plus tard ! Nous en aurons besoin pour l'inférence sans serveur avec Python.

Étape 3 : Générer du texte avec Python et une inférence sans serveur

Avec notre nouvelle clé d'accès au modèle, nous pouvons commencer à exécuter l'inférence sans serveur de DigitalOcean depuis n'importe quelle machine avec accès à Internet ! Nous recommandons de travailler depuis un Jupyter Notebook. Suivez les étapes décrites dans ce tutoriel pour des conseils sur la configuration de votre environnement pour cet article.

Une fois votre environnement configuré, ouvrez un nouveau fichier .ipynb IPython Notebook. Utilisez l'extrait de code ci-dessous pour commencer à générer du texte, en répondant spécifiquement à la question de savoir quelle est la capitale de la France. Modifiez l'extrait pour refléter votre valeur de clé API changée à la ligne 5.

from openai import OpenAI
import os

client = OpenAI(
    api_key= **“your_model_access_key_here”**,
    base_url="https://inference.do-ai.run/v1"
)

stream = client.chat.completions.create(
    model="llama3-8b-instruct",
    messages=[
        {
            "role": "developer",
            "content": "You are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "What is the capital of France?",
        },
    ],
    stream=True,
    max_completion_tokens=10
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Cela devrait produire la sortie « La capitale de la France est Paris ». Nous recommandons de modifier les valeurs telles que max_completion_tokens pour mieux adapter votre invite selon vos besoins. Nous pouvons également modifier la valeur du modèle à la ligne 10 pour être l'un des modèles disponibles dans les offres de modèles DigitalOcean Gradient. Ce zoo de modèles est constamment mis à jour pour refléter l'industrie en pleine croissance, alors vérifiez régulièrement les mises à jour.

Cas d'utilisation de l'IA sans serveur de DigitalOcean

Maintenant que nous avons configuré notre environnement pour exécuter l'Inference Serverless, nous avons une pléthore d'activités possibles que nous pouvons réaliser avec le modèle. De tout ce qu'un LLM est capable de faire, nous pouvons créer des applications puissantes et autonomes qui tirent parti de la force du modèle d'IA. Certains cas d'utilisation possibles incluent :

Applications pilotées par des événements : Où une occurrence spécifique déclenche l'exécution du LLM, ce qui est courant dans les cas d'utilisation agentiques.
Services backend évolutifs : Lorsque l'inférence sur le backend doit être évolutive de manière indéfinie, le sans serveur peut garantir que vos utilisateurs ne resteront jamais en attente.
Traitement des données : les tâches par lots et le traitement des données peuvent être gérés de manière efficace et efficiente sans nécessiter de configuration coûteuse.
Et bien plus encore !

Pensées de clôture

L'inférence sans serveur est une véritable réponse pour les entreprises cherchant des solutions basées sur LLM sans le tracas d'embaucher ou d'apprendre les étapes nécessaires pour déployer votre propre serveur. Avec la plateforme Gradient de DigitalOcean, accéder à l'inférence sans serveur depuis de puissants GPU NVIDIA vient de devenir plus facile que jamais ! Nous encourageons tout le monde à essayer cette nouvelle solution !