В нашей предыдущей статье в блоге мы показали, как сломать схемы LLM, сохраняющие конфиденциальность, — декодировать переставленные состояния модели с почти идеальной точностью. Сегодня мы представляем нашу защиту: Каскад 🕵️ ♂️✨

Cascade обеспечивает безопасность вывода LLM, разделяя скрытые состояния между участниками с помощью "разделения токенов" — каждый узел видит только несколько токенов в последовательности. Чем дальше токены узла, тем выше стоимость атаки — она растет экспоненциально с увеличением расстояния.

Cascade сохраняет полную точность выводов — никаких приближений, никакой математики с фиксированной точкой. Он разделяет вычисления между CompNodes (для MLP) и AttnNodes (для внимания), сохраняя точные результаты на распределенных этапах.

Суть Cascade заключается в схеме сегментирования токенов, которая устойчива как к нашей атаке на реконструкцию, так и к известным атакам, основанным на обучении. В статье мы демонстрируем, что наш подход, называемый c-δ шардингом, обеспечивает высокую конфиденциальность без ущерба для точности.

Мы проводим обширные эксперименты по защите Cascade от атак, основанных на обучении. Несмотря на отсутствие формальных гарантий SMPC, мы демонстрируем, что при наличии достаточного количества узлов Cascade эмпирически устойчив к этим атакам.

Наиболее значительное преимущество Cascade — это скорость и масштабируемость. По сравнению с существующими схемами SMPC, такими как MPCFormer и Puma, Cascade в 100 раз быстрее, даже в самом безопасном режиме, который мы тестировали (72 участника):

Компания Cascade была мотивирована необходимостью найти новую парадигму компромисса между конфиденциальностью, безопасностью и масштабируемостью. Мы считаем, что его основная идея — токен-шардинг — обеспечивает этот баланс и открывает новое направление для LLM, сохраняющих конфиденциальность.

Наша работа над атакой и каскадом была принята на ICML 2025 и будет представлена 16.07 в 16:30 по тихоокеанскому времени в Восточном выставочном зале A-B, комната E-2612, в Ванкуверском конференц-центре. Приходите и пообщайтесь с нами! 🔗

Присоединяйтесь к нам на ритуальном мероприятии в ICML. Познакомьтесь с нашей командой исследователей искусственного интеллекта и криптовалют, расслабьтесь с замечательными людьми и завершите свой день правильно. Это идеальный ритуал. Зарегистрироваться можно здесь: