Itálie zakázala čínskou umělou inteligenci DeepSeek kvůli obavám o ochranu dat a etické otázky

Italský úřad pro ochranu osobních údajů zablokoval služby čínské firmy DeepSeek v zemi s odvoláním na nedostatek informací o tom, jakým způsobem využívá osobní údaje uživatelů.

K tomuto kroku došlo jen několik dní poté, co úřad Garante zaslal společnosti DeepSeek sérii otázek týkajících se jejích postupů při nakládání s daty a zdroje dat pro trénování jejích modelů.

Úřad se konkrétně zajímal o to, jaké osobní údaje shromažďuje webová platforma a mobilní aplikace, z jakých zdrojů, za jakým účelem, na jakém právním základě a zda jsou ukládány v Číně.

Ve svém prohlášení z 30. ledna 2025 Garante uvedl, že k rozhodnutí dospěl poté, co DeepSeek poskytl informace, které označil za „zcela nedostatečné“.

Subjekty stojící za touto službou, Hangzhou DeepSeek Artificial Intelligence a Beijing DeepSeek Artificial Intelligence, „prohlásily, že v Itálii nepůsobí a že se na ně nevztahují evropské právní předpisy,“ dodal úřad.

V důsledku toho úřad zablokoval přístup k DeepSeek s okamžitou platností a zároveň zahájil vyšetřování.

V roce 2023 úřad pro ochranu osobních údajů také dočasně zakázal ChatGPT od OpenAI, toto omezení bylo zrušeno koncem dubna poté, co společnost zabývající se umělou inteligencí (AI) podnikla kroky k řešení nastolených obav o ochranu osobních údajů. Následně byla OpenAI uložena pokuta ve výši 15 milionů eur za to, jak nakládala s osobními údaji.

Zpráva o zákazu DeepSeek přichází v době, kdy se společnost těší velké popularitě, miliony lidí se nahrnuly k této službě a její mobilní aplikace se dostaly na vrchol žebříčků stahování.

Kromě toho, že se stala terčem „rozsáhlých škodlivých útoků“, přitáhla pozornost zákonodárců a regulátorů kvůli svým zásadám ochrany osobních údajů, cenzuře v souladu s Čínou, propagandě a obavám o národní bezpečnost, které může představovat. Společnost k 31. lednu implementovala opravu, která řeší útoky na její služby.

K problémům se přidává i zjištění, že velké jazykové modely (LLM) DeepSeek jsou náchylné k technikám jailbreaku, jako jsou Crescendo, Bad Likert Judge, Deceptive Delight, Do Anything Now (DAN) a EvilBOT, což umožňuje zlým aktérům generovat škodlivý nebo zakázaný obsah.

„Vyvolaly řadu škodlivých výstupů, od podrobných instrukcí pro vytváření nebezpečných předmětů, jako jsou Molotovovy koktejly, až po generování škodlivého kódu pro útoky, jako je SQL injection a laterální pohyb,“ uvedla ve zprávě Palo Alto Networks Unit 42.

„Zatímco počáteční reakce DeepSeek se často zdály neškodné, v mnoha případech pečlivě vytvořené následné výzvy odhalily slabinu těchto počátečních ochranných opatření. LLM snadno poskytoval velmi podrobné škodlivé instrukce, což demonstruje potenciál těchto zdánlivě neškodných modelů k zneužití pro škodlivé účely.“

Další hodnocení modelu uvažování DeepSeek, DeepSeek-R1, provedené společností HiddenLayer zabývající se bezpečností AI, odhalilo, že je nejen zranitelný vůči injekcím promptů, ale také že jeho uvažování Chain-of-Thought (CoT) může vést k neúmyslnému úniku informací.

Zajímavé je, že společnost uvedla, že model také „odhalil několik případů naznačujících, že byla začleněna data OpenAI, což vyvolává etické a právní obavy ohledně zdroje dat a originality modelu.“

Toto odhalení také navazuje na objev zranitelnosti jailbreaku v OpenAI ChatGPT-4o s názvem Time Bandit, která útočníkovi umožňuje obejít bezpečnostní zábrany LLM tím, že chatbota vyzývá k otázkám způsobem, který mu způsobí ztrátu časového povědomí. OpenAI tento problém od té doby zmírnila.

„Útočník může zranitelnost zneužít tak, že zahájí relaci s ChatGPT a přímo se ho zeptá na konkrétní historickou událost, historické období nebo mu nařídí, aby předstíral, že uživateli pomáhá s konkrétní historickou událostí,“ uvedlo CERT Coordination Center (CERT/CC).

„Jakmile je toto stanoveno, může uživatel v následných výzvách přesměrovat přijaté odpovědi na různá nezákonná témata.“

Podobné chyby jailbreaku byly také identifikovány v modelu Alibaba Qwen 2.5-VL a v kódovacím asistentovi GitHub Copilot, přičemž druhý z nich umožňuje útočníkům obejít bezpečnostní omezení a vytvářet škodlivý kód pouhým zahrnutím slov jako „jistě“ do promptu.

„Zahájení dotazů s kladnými slovy, jako je „Jistě“ nebo jinými formami potvrzení, funguje jako spouštěč, který přepne Copilot do poddajnějšího a rizikovějšího režimu,“ řekl Oren Saban, výzkumník Apexu. „Tato malá úprava stačí k odemknutí odpovědí, které sahají od neetických návrhů až po přímo nebezpečné rady.“

Apex uvedl, že také nalezl další zranitelnost v konfiguraci proxy Copilotu, o které tvrdí, že by mohla být zneužita k úplnému obejití omezení přístupu bez placení za používání a dokonce k manipulaci se systémovým promptem Copilotu, který slouží jako základní instrukce, které určují chování modelu. Útok však závisí na zachycení ověřovacího tokenu spojeného s aktivní licencí Copilotu, což vedlo GitHub k tomu, že jej po zodpovědném zveřejnění klasifikoval jako problém zneužití.

„Obejítí proxy a pozitivní potvrzení jailbreaku v GitHub Copilot jsou dokonalým příkladem toho, jak i ty nejvýkonnější nástroje AI mohou být zneužity bez adekvátních ochranných opatření,“ dodal Saban.

Zdroj: thehackernews.com

Zdroj: eGOVERNMENT.NEWS  

​ 

Zdroj: B2B NETWORK NEWS