Китайский стартап DeepSeek оказался в центре скандала после того, как несколько исследовательских групп обнаружили серьезные уязвимости в их новой языковой модели R1.
По данным тестирования WithSecure Consulting, DeepSeek-R1 показала крайне низкую устойчивость к атакам с внедрением вредоносных промптов. Модель заняла 17-е место из 19 протестированных систем с показателем успешности атак 77% при автономном использовании. Даже с дополнительными мерами защиты уровень уязвимости остался высоким - 55%.
Исследователи из Kela Cyber выявили, что R1 легко поддается взлому через метод "Evil Jailbreak", когда модель провоцируют на принятие "злой" личности. Команда Unit 42 из Palo Alto Networks обнаружила уязвимость модели к трем различным техникам обхода защиты: Crescendo, Deceptive Delight и Bad Likert Judge.
Тестирование EnkryptAI показало, что по сравнению с конкурирующей моделью OpenAI o1, DeepSeek-R1 в 4 раза чаще генерирует небезопасный код и в 11 раз более склонна к созданию потенциально опасного контента.
По мнению Донато Капителлы, исследователя безопасности ИИ в WithSecure Consulting, команда DeepSeek, вероятно, пренебрегла аспектами безопасности в погоне за высокими показателями производительности. Он рекомендует организациям тщательно оценивать риски перед внедрением R1 в рабочие процессы.
Несмотря на проблемы с безопасностью, DeepSeek-R1 занимает шестое место в рейтинге Chatbot Arena, опережая такие известные модели как Meta's Llama 3.1-405B и OpenAI o1.
На момент публикации DeepSeek не предоставила комментариев по поводу обнаруженных уязвимостей.