Институтът за компютърни науки, изкуствен интелект и технологии (INSAIT) към СУ извърши първото изследване доколко моделите на DeepSeek отговарят на европейските регулации. Оценката, която е проведена съвместно с LatticeFlow AI, обхваща два от най-популярните дестилирани модела на DeepSeek (с близо 400 000 изтегляния): DeepSeek R1 8B (базиран на Meta’s Llama 3.1 8B) и DeepSeek R1 14B (базиран на Alibaba’s Qwen 2.5 14B). Тя показва и как DeepSeek моделите се сравняват с тези на OpenAI, Meta, Google, Anthropic, Mistral AI и др.
Първите официални резултати сочат за сериозни пропуски в съответствието на моделите на DeepSeek, съгласно Европейския акт за изкуствения интелект (#EUAIAct)
Изследването на DeepSeek става възможно благодарение на COMPL-AI – първата рамка за съответствие със Закона на ЕС за изкуствения интелект, създадена от ETH Zurich, INSAIT и LatticeFlow AI, която превръща регулаторните нормативни изисквания в конкретни технически проверки. Чрез нея се тестват някои от най-популярните модели за изкуствен интелект, за да се оцени съответствието им съгласно европейските правила.
Сред констатациите е и това, че дестилираните модели на DeepSeek постигат добри резултати в ограничаването на токсичното съдържание, но изостават в ключови регулаторни аспекти като киберсигурност и управление на предразсъдъците. Това повдига въпроси относно тяхната готовност за внедряване в корпоративна среда. Дестилацията на големи модели кaто DeepSeek в по-малки е стандартен процес който ги прави по-практични и по-ефикасни за бизнеса и организациите.
Анализът отрежда последни места за DeepSeek по отношение на киберсигурност и под средното ниво в класацията по отношение на пристрастност като показват значително по-големи предразсъдъци от своите базови модели.
