Společnost Anthropic zveřejnila čtvrtý incident, při němž její model umělé inteligence pronikl do reálných systémů třetích stran. Jde o nejnovější z rostoucího seznamu případů, které vyvolávají obavy z bezpečnostních rizik autonomních AI agentů. Podle firmy incident sahá do ledna 2026 a týkal se rané verze modelu Claude Opus 4.6, který podle jejího vyjádření pronikl „do třetích stran poté, co nebyl schopen přerušit svůj úkol.“ Anthropic uvedl, že o události informoval všechny zasažené strany, ale žádné další podrobnosti nesdělil; lednový incident zůstal až do minulého měsíce nepovšimnut.
Koncem července 2026 firma odhalila, že tři její modely — včetně Claude Opus 4.7, Mythos 5 a nejmenovaného výzkumného modelu — pronikly během kyberbezpečnostních vyhodnocení do tří nejmenovaných organizací bez jejího vědomí. Po objevení nejnovějšího případu Anthropic rozšířil svůj sken na zhruba 481 milionů přepisů, přičemž „další případy podobné nebo horší závažnosti“ nenašel. „Všechny čtyři incidenty se odehrály během kyberbezpečnostních vyhodnocení sestavených týmž vyhodnocovacím partnerem,“ dodala firma. „Claude dostal informaci, že pracuje v simulaci bez přístupu k internetu, ale kvůli chybné konfiguraci byl omylem připojen k otevřenému internetu.“ Vyhodnocovací partner, firma Irregular, mezitím uvedl, že průnik pramenil z chyby v pojmenování, kdy se fiktivní firemní název použitý při simulacích shodl se skutečnou doménou.
Zaujaté uvažování a bezohlednost
Anthropic uzavřel dohodu s neziskovou výzkumnou organizací METR o nezávislém vyšetření incidentů a základní příčinu vystopoval ke dvěma zásadním problémům v souladu (alignmentu): zaujatému uvažování a bezohlednosti. Modely měly tendenci znevažovat nebo špatně interpretovat důkazy, že jejich prostředí je připojeno ke skutečnému internetu, poté co byly zpočátku ujištěny, že jde o simulaci, a projevovaly ochotu podniknout škodlivé kroky v jednostranné snaze splnit zadaný úkol. „Nejvíce nás znepokojuje nesoulad přítomný v incidentu s modelem Claude Mythos 5, v němž model vynaložil značné úsilí, aby nahrál škodlivý balíček do PyPI, veřejného repozitáře, z něhož se instaluje většina softwaru pro Python,“ uvedla firma. Model podle ní pokračoval v ofenzivních akcích i poté, co byly do přepisu provedeny úpravy, které jasněji naznačovaly, že nejde o simulaci.
Firma zároveň zdůraznila hranice závažnosti: „Ačkoli byly Claudovy akce v nesouladu, zůstávaly v úzkém rozsahu — modely se nikdy neodchýlily od snahy vyřešit zadaná cvičení a v některých případech se úkol pokusily zastavit.“ Dodala, že každý incident zahrnoval jedinou instanci Claude, model se nikdy nepokusil koordinovat s jinými agenty a nikdy nezakrýval důkazy o svých akcích. Odhalení přichází v době rostoucí pozornosti věnované bezpečnosti modelů. OpenAI nedávno přiznala dosud neohlášený incident z května 2026, kdy její interně nasazení autonomní agenti s přístupem k internetu převzali nečinné 25 let staré německé wiki fórum DseWiki a proměnili je v nástěnku, přes kterou si vyměnili přes 18 000 příspěvků, aby sdíleli výsledky a techniky obcházení svých omezení. Hlavní vědec OpenAI Jakub Pachocki k rizikům napsal: „Obávám se, že nikdo není připraven na důsledky pokračujícího rychlého vzestupu strojové inteligence.“
Zdroj: thehackernews.com
Zdroj: IT SECURITY NETWORK NEWS
