Benchmark des AI gateway : comparaison de la sécurité et des performances

Les Grands Modèles de Langage (LLMs) ont rapidement émergé comme une force de transformation dans l'intelligence artificielle, devenant la pierre angulaire de diverses applications, y compris la génération de contenu, la classification zero-shot et les tâches linguistiques complexes. Avant les LLMs, atteindre de telles capacités nécessitait l'entraînement de modèles adaptés à des tâches spécifiques — une approche qui manquait d'évolutivité et d'adaptabilité. Aujourd'hui, les LLMs peuvent traiter de vastes quantités de données, comprendre le contexte et générer des réponses cohérentes et créatives, ce qui les rend inestimables dans tous les secteurs.

Une caractéristique déterminante des LLMs est leur capacité à générer du texte de type humain et des réponses perspicaces sur divers sujets. Cependant, cette même créativité introduit des défis, car les LLMs peuvent dévier des discussions prévues, engager des conversations hors sujet, ou même produire du contenu indésirable. Dans les applications d'entreprise, telles que les chatbots de service client, ces réponses non intentionnelles peuvent être contre-productives voire nuisibles. Par conséquent, les organisations ont cherché des moyens de réguler les interactions LLM, en s'assurant que les réponses correspondent aux objectifs commerciaux et aux exigences de conformité.

Dans cet article, nous examinerons deux approches différentes pour réguler les interactions LLM : les garde-fous LLM et les AI gateways. De plus, nous évaluerons les neuf principaux AI gateways à travers une comparaison rigoureuse, en analysant quatre variables clés : le débit (requêtes par seconde), la latence moyenne (millisecondes), la latence P99 (millisecondes) et le taux de réussite.

Vous voulez savoir quel AI gateway est le meilleur pour sécuriser vos applications IA tout en maintenant la gouvernance de l'IA ?

Lisez ce benchmark pour découvrir la réponse.

Garde-fous LLM : Quel est leur rôle et quelles sont leurs limites ?

Une approche largement adoptée pour gérer le comportement des LLM est l'utilisation de garde-fous LLM — des systèmes intermédiaires qui régulent les sorties générées par l'IA. Ces garde-fous aident à appliquer les politiques de sécurité, à prévenir les problèmes tels que l'injection de prompt, à atténuer les risques de sécurité des LLM et à garantir que le contenu généré par l'IA reste dans des limites prédéfinies. Ils effectuent également une limitation de débit IA (AI rate limiting) et filtrent les réponses toxiques ou hors sujet, améliorant la gouvernance et la conformité de l'IA.

Ci-dessous, vous pouvez voir à quoi ressemble une architecture de garde-fou :

Bien qu'efficaces, les garde-fous traditionnels présentent des limites importantes. À mesure que les entreprises étendent l'adoption de l'IA à travers de multiples applications, la configuration et la gestion manuelles des garde-fous LLM deviennent de plus en plus complexes et sujettes aux erreurs. Assurer un déploiement correct, maintenir différentes versions et appliquer de manière cohérente les politiques à travers divers cas d'utilisation introduit une surcharge opérationnelle et des risques de mauvaise configuration.

De plus, la plupart des implémentations de garde-fous reposent sur des ensembles de règles statiques qui peinent à suivre le rythme de l'évolution des menaces IA et des schémas d'abus. Cette rigidité entrave l'évolutivité, créant une fragmentation dans la sécurité et la gouvernance de l'IA.

Pour résoudre ces défis, nous proposons un nouveau paradigme : l'architecture AI gateway.

Introduction à l'architecture AI gateway

Contrairement aux garde-fous LLM traditionnels, qui sont implémentés au niveau de l'application, l'AI gateway fonctionne de manière similaire à une passerelle API (API gateway) mais est conçu spécifiquement pour les cas d'utilisation IA et est déployé au niveau de l'infrastructure. De cette façon, il intercepte les appels aux LLMs, appliquant les politiques et les contrôles à l'échelle organisationnelle plutôt que par application.

Cette approche centralisée garantit une application uniforme des politiques de sécurité, des mesures de conformité et de la gouvernance de l'IA dans toutes les solutions IA d'entreprise. De plus, elle rationalise le déploiement LLM, élimine les incohérences et réduit les charges opérationnelles associées à la gestion des garde-fous individuels.

Enfin et surtout, en intégrant la gestion des API IA dans un AI gateway unifié, les entreprises peuvent appliquer des politiques d'architecture IA évolutives, optimiser les benchmarks de performance des API et mettre à jour dynamiquement les règles de gouvernance pour s'adapter aux risques IA émergents.

Voici à quoi ressemble une architecture AI gateway :

En déplaçant la gestion de la sécurité et de la conformité IA vers un LLM gateway centralisé, les organisations obtiennent un contrôle en temps réel sur les interactions IA, garantissant que toutes les applications alimentées par l'IA s'alignent sur les objectifs stratégiques et les réglementations sectorielles.

Alors que les entreprises continuent d'adopter l'innovation axée sur l'IA, l'adoption d'une architecture AI gateway sera essentielle pour parvenir à une infrastructure IA robuste, évolutive et sécurisée.

Choisir le bon AI gateway : Solutions spécialisées vs. adaptées

Le marché des AI gateways reste relativement limité, avec seulement une poignée de solutions spécialisées disponibles. Par conséquent, de nombreuses organisations se tournent vers les passerelles API (API gateways) comme alternative, exploitant leurs capacités en matière de routage des requêtes, d'équilibrage de charge (load balancing), d'authentification et de limitation de débit IA (AI rate limiting) pour gérer les applications axées sur l'IA.

Alors que les AI gateways sont conçus pour optimiser le déploiement LLM, améliorer l'infrastructure IA et appliquer la modération LLM, les passerelles API traditionnelles offrent flexibilité et large support d'intégration. Cela en fait un choix viable pour les entreprises cherchant à adapter la technologie existante plutôt qu'à implémenter un LLM gateway dédié.

Dans cette section, nous explorerons les options spécialisées d'AI gateway disponibles, ainsi que les passerelles API qui peuvent être adaptées pour prendre en charge les solutions IA d'entreprise, garantissant une gestion transparente des API IA et une architecture IA évolutive.

Commençons :

1. TrustGate

TrustGate est spécifiquement conçu pour gérer les workloads IA, garantissant vitesse, efficacité et adaptabilité. Contrairement à de nombreuses solutions existantes qui réutilisent les passerelles API traditionnelles pour les applications IA, TrustGate est conçu dès le départ pour gérer les demandes uniques des workflows axés sur l'IA. Les passerelles API héritées introduisent souvent une surcharge inutile, des fonctionnalités obsolètes et des contraintes architecturales qui entravent les performances de l'IA plutôt que de les optimiser.

La plupart des passerelles API traditionnelles sont conçues pour la gestion des requêtes à usage général, ce qui peut entraîner des problèmes de latence et des goulots d'étranglement d'évolutivité lors de la gestion des workflows IA. Ces inefficacités peuvent dégrader les temps de réponse et limiter les performances du système IA, rendant difficile pour les entreprises une mise à l'échelle efficace.

En revanche, l'Architecture AI Gateway est conçue spécifiquement pour les interactions IA haute performance. Elle intègre un filtrage avancé, une limitation de débit spécifique à l'IA (AI-specific rate limiting) et une surveillance en temps réel adaptée aux workloads LLM. Cela garantit que les applications IA traitent les requêtes efficacement, en toute sécurité et conformément aux politiques de gouvernance.

En exploitant cette architecture, les organisations obtiennent un meilleur contrôle sur leurs systèmes IA tout en maintenant une gouvernance et une surveillance robustes. Le résultat ? Une intégration IA transparente, des goulots d'étranglement opérationnels minimaux et des déploiements évolutifs et performants. Alors que l'adoption de l'IA continue de croître, les AI gateways spécialement conçus établissent une nouvelle norme industrielle pour une infrastructure axée sur l'IA sécurisée et efficace.

Trouvez le dépôt GitHub complet ici.

2. Kong’s AI Gateway

Kong’s AI Gateway est une extension puissante de la plateforme Kong Gateway, offrant une approche rationalisée de l'intégration et de la gestion de l'IA au sein des entreprises. Les défis d'un écosystème IA fragmenté sont relevés grâce à une couche API unifiée, permettant aux développeurs d'interagir avec plusieurs services IA en utilisant une base de code client cohérente. Cette abstraction améliore l'efficacité du développement tout en offrant une gestion centralisée des informations d'identification, une observabilité et une gouvernance sur les données et l'utilisation de l'IA.

Une caractéristique clé de Kong’s AI Gateway est son routage dynamique des requêtes, qui optimise les appels API en fonction de la rentabilité, de l'allocation des ressources et de la précision des réponses. La distribution intelligente des workloads IA garantit de meilleures performances et un meilleur contrôle des coûts pour les organisations.

L'Architecture AI Gateway est construite sur le framework de gestion des API de Kong Gateway et l'extensibilité des plugins, introduisant des plugins spécifiques à l'IA pour le routage sémantique, la sécurité, l'observabilité, l'accélération et la gouvernance. Ces capacités spécialisées maintiennent les applications axées sur l'IA efficaces, évolutives et conformes aux politiques d'entreprise.

Un processus d'installation simple rend le déploiement rapide et transparent. Avec une seule commande, Kong’s AI Gateway est opérationnel, offrant une gestion sans effort des workloads IA.

Trouvez le dépôt GitHub complet ici.

3. Passerelle API Tyk

Tyk est une Passerelle API open-source et cloud-native conçue pour prendre en charge les protocoles REST, GraphQL, TCP et gRPC. Depuis sa création en 2014, l'accent est resté sur la performance et l'évolutivité, offrant la limitation de débit (rate limiting), l'authentification, l'analytique et les patterns de microservices.

Son approche 'tout compris' garantit que les organisations ont accès à une suite complète d'outils pour la gestion des API sans verrouillage de fonctionnalités. La compatibilité de Tyk avec Kubernetes, via l'opérateur Tyk Kubernetes, améliore encore son adaptabilité dans les environnements cloud modernes.

Bien que Tyk excelle dans la gestion générale des API, il n'est pas spécifiquement adapté aux applications IA.

Reconnaissant l'importance croissante de l'IA, Tyk a introduit Montag.ai, un produit visant à permettre aux équipes de plateforme et de produit d'adopter l'IA avec une gouvernance robuste. Cependant, cela semble être une offre supplémentaire plutôt qu'une fonctionnalité inhérente à la Passerelle API Tyk. Par conséquent, les organisations recherchant des solutions spécifiquement optimisées pour les workloads IA pourraient trouver la passerelle principale de Tyk manquante de fonctionnalités IA spécialisées par rapport à des concurrents comme TrustGate, qui sont spécialement conçus pour les cas d'utilisation IA.

Tyk est commodément empaqueté dans Docker qui s'occupe de l'installation et peut être opérationnel en quelques minutes.

Trouvez le dépôt GitHub complet ici.

4. KrakenD

KrakenD est une Passerelle API open-source haute performance conçue pour faciliter l'adoption des architectures microservices. Elle offre des fonctionnalités telles que l'agrégation d'API, la gestion du trafic, l'authentification et la transformation de données, permettant aux organisations de construire des systèmes évolutifs et résilients.

L'architecture stateless et distribuée de KrakenD garantit une véritable évolutivité linéaire, traitant des milliers de requêtes par seconde, ce qui la rend adaptée aux environnements à forte demande.

Bien que KrakenD excelle dans la gestion générale des API, comme dans le cas de Tyk, il n'est pas spécifiquement adapté aux applications IA. Son objectif principal reste l'optimisation des performances et de l'évolutivité des API, sans fonctionnalités dédiées aux workloads IA. Les organisations recherchant des solutions spécifiquement optimisées pour l'IA pourraient trouver KrakenD manquant de fonctionnalités spécialisées par rapport à des concurrents comme TrustGate, qui sont spécialement conçus pour les cas d'utilisation IA.

KrakenD est également commodément empaqueté sous forme d'image Docker, téléversée dans un dépôt public, il est donc facile à installer et à exécuter.

Explorez le dépôt GitHub complet ici.

5. Cloudflare

L'AI Gateway de Cloudflare est conçu pour offrir aux développeurs une visibilité et un contrôle améliorés sur leurs applications IA. L'intégration avec l'AI Gateway permet aux applications de surveiller les schémas d'utilisation, de gérer les coûts et de traiter plus efficacement les erreurs.

La plateforme offre des fonctionnalités telles que la mise en cache (caching), la limitation de débit (rate limiting), les nouvelles tentatives de requête (request retries) et les mécanismes de repli de modèle (model fallback), toutes visant à optimiser les performances et à garantir la fiabilité. Notamment, les développeurs peuvent connecter leurs applications à l'AI Gateway avec un minimum d'effort, nécessitant souvent une seule ligne de code, ce qui simplifie le processus d'intégration.

La solution de Cloudflare exploite son infrastructure existante pour offrir une gestion évolutive et efficace des workloads IA. Des fonctionnalités telles que la mise en cache avancée et la limitation de débit réduisent la latence et contrôlent les coûts, fournissant un cadre robuste pour les développeurs cherchant à optimiser leurs applications IA. Cette approche garantit que les services IA restent réactifs et rentables, s'alignant sur les exigences des applications modernes axées sur l'IA.

L'AI Gateway de Cloudflare est un service propriétaire qui nécessite l'enregistrement de l'utilisateur. En raison de cette limitation, il a été exclu de notre comparaison, car les métriques de performance et l'efficacité sont intrinsèquement liées à l'infrastructure interne de Cloudflare, dont les détails ne sont pas divulgués publiquement.

6. Apache Apisix

Apache APISIX est une passerelle API open-source et cloud-native conçue pour gérer les microservices et les API avec des performances, une sécurité et une évolutivité élevées. Construit sur NGINX et etcd, il offre un routage dynamique, des mises à jour de plugins à chaud, un équilibrage de charge et la prise en charge de plusieurs protocoles, y compris HTTP, gRPC, WebSocket et MQTT. APISIX fournit des fonctionnalités complètes de gestion du trafic telles que l'upstream dynamique, le canary release, le circuit breaking, l'authentification et l'observabilité.

Une caractéristique notable d'Apache APISIX est son tableau de bord low-code intégré, qui fournit une interface utilisateur puissante et flexible aux développeurs pour gérer et exploiter efficacement la passerelle. La plateforme prend en charge les mises à jour à chaud et les plugins à chaud, permettant des changements de configuration sans nécessiter de redémarrages, ce qui économise du temps de développement et réduit les temps d'arrêt du système.

Plusieurs plugins de sécurité sont disponibles pour l'authentification d'identité et la vérification d'API, y compris CORS, JWT, Key Auth, OpenID Connect (OIDC) et Keycloak, garantissant une protection robuste contre les attaques malveillantes.

Malgré des dépendances similaires à Vulcand, la documentation offre un processus de configuration simple, permettant de tout mettre en place avec une seule commande, ce qui le rend beaucoup plus pratique par rapport à la configuration de Vulcand.

Lisez le dépôt GitHub complet ici.

7. Mulesoft

La Passerelle API de MuleSoft est une solution puissante conçue pour gérer, sécuriser et surveiller le trafic API dans les environnements d'entreprise. Elle agit comme un point de contrôle, permettant aux organisations d'appliquer des politiques, d'authentifier les utilisateurs et d'analyser l'utilisation des API.

En s'intégrant de manière transparente à Anypoint Platform, la Passerelle API de MuleSoft offre un moyen centralisé d'appliquer des politiques de sécurité, la limitation de débit et le contrôle d'accès, garantissant que les API sont protégées contre les accès non autorisés et les menaces. De plus, ses capacités robustes d'analytique et de journalisation aident les organisations à suivre les performances des API et à dépanner efficacement les problèmes.

Inclure la Passerelle API de MuleSoft dans cette comparaison n'est pas une option en raison de la nature de notre processus de benchmarking. Les tests ont été effectués localement sur diverses passerelles API open-source, garantissant une comparaison juste et cohérente entre des solutions ayant un modèle de déploiement similaire. La Passerelle API de MuleSoft, faisant partie d'une plateforme d'entreprise plus large, intègre des optimisations propriétaires et des intégrations cloud, la plaçant dans une catégorie différente. Par conséquent, des comparaisons directes de performances ou de fonctionnalités ne fourniraient pas d'informations significatives, car ces technologies sont conçues pour des cas d'utilisation et des environnements de déploiement différents.

Benchmarking des AI Gateways : Une Évaluation Rigoureuse des Performances

Pour garantir une comparaison objective, nous avons mené une évaluation rigoureuse de chaque AI gateway en les installant et en les exécutant individuellement comme unique passerelle. En utilisant le générateur de charge HTTP 'hey', nous avons mesuré les métriques de performance clés, y compris le temps de réponse, le débit, la latence et le taux de réussite.

Le processus de benchmarking a été automatisé via un script de test Bash, qui ajustait dynamiquement l'URL cible en fonction de la configuration de chaque passerelle. Tous les tests ont été effectués localement dans des conditions matérielles et réseau cohérentes pour maintenir la fiabilité.

Le script commence par définir une sortie à code couleur pour plus de clarté, puis vérifie la présence de l'outil 'hey', l'installant automatiquement s'il manque. Cela garantit un environnement de test standardisé, permettant des comparaisons de performances précises entre différentes solutions d'AI gateway.

Copied!
1#!/bin/bash
2
3
4# Colors for output
5GREEN='\033[0;32m'
6RED='\033[0;31m'
7BLUE='\033[0;34m'
8NC='\033[0m'
9
10
11# Check if hey is installed
12if ! command -v hey &> /dev/null; then
13   echo -e "${RED}Error: 'hey' is not installed${NC}"
14   echo "Installing hey..."
15   export PATH=$PATH:$(go env GOPATH)/bin
16   go install github.com/rakyll/hey@latest
17   if ! command -v hey &> /dev/null; then
18       echo -e "${RED}Failed to install hey. Please install it manually:${NC}"
19       echo "go install github.com/rakyll/hey@latest"
20       echo "And make sure your GOPATH/bin is in your PATH"
21       exit 1
22   fi
23fi
24

Ensuite, avec l'outil installé avec succès, nous simulons une charge de 50 utilisateurs simultanés frappant la passerelle testée pendant 30 secondes.

Le code pour ce processus est montré ci-dessous :

Copied!
1# Configuration
2PROXY_URL=${PROXY_URL:-"GATEWAY_URL"}
3CONCURRENT_USERS=50
4DURATION="30s"
5
6
7echo -e "${BLUE} Gateway Benchmark Tool${NC}\n"
8
9
10# Test 1: System endpoint (ping)
11echo -e "${GREEN}Testing system ping endpoint...${NC}"
12echo -e "\n${BLUE}Starting system benchmark with ${CONCURRENT_USERS} concurrent users for ${DURATION}...${NC}"
13hey -z ${DURATION} \
14   -c ${CONCURRENT_USERS} \
15   -disable-keepalive \
16   -cpus 2 \
17   "${PROXY_URL}"
18

La seule variable qui change entre les benchmarks est PROXY_URL, qui doit pointer vers une URL valide pour la passerelle testée.

Résultats du Benchmark des AI Gateways :

Pour garantir une comparaison objective et fiable, nous avons effectué nos tests de benchmark en utilisant GCP Compute Engine, en déployant les AI gateways sur deux types de machines différents :

• c2-standard-8 : 8 vCPUs, 32 Go de Mémoire
• c4-highcpu-8 : 8 vCPUs, 16 Go de Mémoire

Cette configuration nous a permis d'évaluer comment chaque passerelle se comporte sous différentes contraintes matérielles, fournissant des informations sur leur évolutivité et leur efficacité selon diverses allocations de ressources.

Chaque AI gateway a été installé et exécuté comme unique passerelle sur la machine de test, garantissant des conditions isolées. Nous avons utilisé le générateur de charge HTTP 'hey' pour simuler 50 utilisateurs simultanés sur une période de 30 secondes, mesurant les métriques de performance clés :

• Requêtes par seconde (débit)
• Temps de réponse moyen (latence en millisecondes)

Comparaison des Performances :

Type de machine : c2-standard-8

Type de machine : c4-highcpu-8

Comme nous pouvons le voir…

Les résultats du benchmark soulignent que TrustGate surpasse toutes les autres Passerelles API à la fois en termes de débit et de temps de réponse, se révélant être la solution AI-first la plus rapide et la plus efficace. Sur les deux types de machines testées, TrustGate a démontré des performances supérieures, traitant significativement plus de requêtes par seconde tout en maintenant la latence la plus faible.

Ces résultats rendent une chose claire : en matière de performance AI-first, d'évolutivité et de sécurité, TrustGate est le meilleur AI gateway sur le marché.

Points Clés et Conclusions Finales

Ce benchmark souligne un point critique : les passerelles API traditionnelles ne peuvent pas répondre aux exigences spécifiques de l'IA. Bien qu'elles offrent des capacités générales de gestion des API, elles manquent des optimisations de performance requises pour les interactions IA à haute vitesse et à haut volume.

En revanche, TrustGate a été construit dès le départ pour gérer les workloads IA, garantissant une latence minimale, un débit maximal et une évolutivité transparente. Son architecture AI-first élimine les inefficacités trouvées dans les passerelles API réutilisées, ce qui en fait la solution la plus efficace pour les entreprises cherchant à déployer et gouverner les modèles IA à grande échelle.

Pourquoi est-ce important ?

• Performance : TrustGate traite significativement plus de requêtes IA par seconde avec une latence plus faible, garantissant une réactivité en temps réel.
• Évolutivité : Que ce soit sur des machines standard ou haute performance, TrustGate maintient son avance en termes d'efficacité, le rendant idéal pour les applications IA d'entreprise.
• Sécurité & Conformité : Contrairement aux passerelles traditionnelles, TrustGate est conçu pour appliquer les politiques de gouvernance de l'IA tout en maintenant les performances.

Alors que l'adoption de l'IA continue de s'étendre, les entreprises ne peuvent pas se permettre de dépendre d'une infrastructure obsolète et inefficace. L'avenir du déploiement IA réside dans les solutions AI-first, et TrustGate établit la norme de l'industrie.

Et ensuite ?

Le benchmark révèle que les AI gateways dédiés non seulement améliorent les performances et l'évolutivité, mais offrent également une sécurité renforcée par rapport aux garde-fous traditionnels. Cette transition vers des solutions centralisées et spécialement conçues simplifie la gestion des workloads IA dans un paysage en constante évolution.

Maintenant, il vaut la peine de considérer comment ces informations s'alignent sur votre propre infrastructure IA. Un AI gateway dédié pourrait-il améliorer la sécurité et l'efficacité de votre système IA tout en réduisant la complexité ?

Nous sommes sûrs que la réponse est "oui". Si vous souhaitez en savoir plus sur la manière dont notre AI gateway, TrustGate, peut exploiter une architecture spécialement conçue — pensée dès le départ pour éliminer les problèmes de latence, rationaliser les interactions IA et offrir une sécurité robuste et évolutive — n'hésitez pas à réserver une démo dès aujourd'hui. Sans engagement.