Que devient votre prompt avant d'atteindre le modèle ?
Dans une organisation, aucun outil ne devrait appeler un modèle directement. Chaque requête passe par une passerelle unique qui applique des politiques. Vue ingénieur : à chaque étape, la politique et son extrait de configuration, le code de retour et le risque OWASP traité.
Dans une organisation, aucun outil ne devrait appeler un modèle directement. Chaque requête passe par une passerelle unique qui vérifie l'identité, protège les données client et maîtrise les coûts. Lancez un scénario et suivez la requête.
- 5contrôles
- 4scénarios
- 6sources vérifiées
Le parcours d'une requête
3 points clés
Un seul point de passage
Les outils n'appellent jamais un modèle directement. Les contrôles sont appliqués une fois, au même endroit, pour tous.
Les données sensibles restent protégées
Masquage avant envoi, et routage des requêtes confidentielles vers un modèle hébergé sur site.
Chaque jeton a un propriétaire
Quotas par équipe, comptage des jetons, refacturation au projet : le coût de l'IA devient visible et pilotable.
Les étapes
À savoir
Lire le schéma
- Sécurité
- Coûts
- Traçabilité
- Requête
- Réponse
- Requête bloquée
Les étiquettes « Source » renvoient au document qui décrit le contrôle. L'étiquette en pointillés « Adaptation » signale une règle que je propose pour une organisation, qui ne vient pas d'une source. Les chiffres et noms des exemples sont fictifs. Les extraits de politiques suivent la syntaxe de la documentation Microsoft avec des valeurs fictives ; le rattachement aux risques OWASP est une proposition.
Ce que cette architecture ne garantit pas
- Elle réduit les risques de fuite et de dérive des coûts, elle ne les supprime pas. Les règles d'usage et la formation restent nécessaires.
- Une passerelle hébergée dans le cloud ajoute de la latence pour les services sur site. Une passerelle auto-hébergée évite ce trajet, mais l'entreprise doit la déployer, la dimensionner et la maintenir.
- La journalisation des contenus a des limites : taille des messages capturés et échantillonnage, qui peut aussi peser sur le débit.
- Les métriques ne font pas un journal d'audit : Microsoft précise qu'Application Insights n'est pas conçu comme un système d'audit. Un journal d'audit demande un stockage dédié, avec une durée de rétention fixée.
Sources
- Microsoft, architecture de référence d'une passerelle GenAI sur Azure API Management : authentification par identité managée, masquage des données personnelles, limites de jetons par minute, débordement de la capacité réservée vers le paiement à l'usage, compteurs de jetons pour la refacturation, passerelle auto-hébergée.
- API7, qu'est-ce qu'une passerelle IA (en anglais) : clés des fournisseurs gardées par la passerelle, budgets par équipe, routage par coût et par tâche, journaux d'audit.
- OWASP, LLM10:2025 Unbounded Consumption (en anglais) : la consommation non maîtrisée d'un modèle, jusqu'aux coûts imprévus (« denial of wallet »).
- Microsoft Learn, politiques « AI gateway » d'API Management (en anglais) : llm-token-limit, llm-content-safety, llm-semantic-cache-lookup, llm-emit-token-metric (syntaxe, codes 403 et 429, avertissements).
- Microsoft Learn, validate-jwt et authentication-managed-identity (en anglais) : validation du jeton (401 par défaut) et authentification de la passerelle auprès du fournisseur.
- OpenTelemetry, observabilité de l'IA générative (en anglais) : métriques gen_ai.client.token.usage et gen_ai.client.operation.duration ; conventions encore en cours d'élaboration.
Microsoft documente une mise en œuvre sur Azure. Le principe d'une passerelle centrale vaut pour d'autres produits.