Dans notre dernier article de blog, nous avons montré comment briser les schémas LLM préservant la confidentialité - décodage des états de modèle permutés avec une précision presque parfaite. Aujourd’hui, nous vous présentons notre défense : Cascade 🕵️ ♂️✨

Cascade sécurise l'inférence LLM en divisant les états cachés entre les parties via le "token sharding"—chaque nœud ne voit qu'un petit nombre de tokens en séquence. Plus les tokens d'un nœud sont éloignés, plus le coût d'une attaque est élevé—croissant de manière exponentielle avec la distance.

Cascade conserve une fidélité totale dans l’inférence : pas d’approximations, pas de mathématiques en virgule fixe. Il répartit le calcul entre CompNodes (pour les MLP) et AttnNodes (pour l’attention), en préservant les résultats exacts à travers les étapes distribuées.

L’essentiel de Cascade est un schéma de token-sharding qui résiste à la fois à notre attaque de reconstruction et aux attaques connues basées sur l’apprentissage. Nous démontrons dans l’article que notre approche, appelée sharding c-δ, permet d’obtenir une confidentialité forte sans compromettre la fidélité.

Nous effectuons des expériences approfondies sur la sécurité de Cascade contre les attaques basées sur l’apprentissage. Bien qu’il n’ait pas les garanties formelles de SMPC, nous démontrons qu’avec suffisamment de nœuds, Cascade est empiriquement robuste à ces attaques.

Le principal avantage de Cascade est sa rapidité et sa scalabilité. Comparé aux schémas SMPC existants comme MPCFormer et Puma, Cascade est 2 ordres de grandeur plus rapide, même dans le cadre le plus sécurisé que nous avons testé (72 participants) :

Cascade a été motivé par la nécessité de trouver un nouveau paradigme dans le compromis entre la confidentialité, la sécurité et l’évolutivité. Nous pensons que son idée de base, le token-sharding, trouve cet équilibre et ouvre une nouvelle direction pour les LLM préservant la confidentialité.

Notre travail sur l’attaque et Cascade a été accepté à l’ICML 2025 et sera présenté le 16/7 à 16h30 PST dans le hall d’exposition A-B de l’Est, salle E-2612, au Centre des congrès de Vancouver. Venez discuter avec nous ! 🔗

Venez nous rejoindre pour le Ritual social à l’ICML. Rencontrez notre équipe de recherche sur l’IA et les cryptomonnaies, détendez-vous avec des gens formidables et terminez votre journée de la bonne façon. C’est le rituel parfait. Inscrivez-vous ici :