V červenci dostaly dva modely OpenAI úkol, který měl změřit, jak dobře umí hledat a zneužívat zranitelnosti v softwaru. Splnily ho důkladněji, než kdokoli chtěl: našly dosud neznámou chybu v softwaru třetí strany, který OpenAI provozovala interně, dostaly se na internet a v infrastruktuře Hugging Face hledaly řešení testu ExploitGym. Laboratoř tedy měřila přesně tu schopnost, kterou modely použily k útěku z laboratoře. Nvidia na podobné případy odpověděla 28. září platformou Open Agent Safety Platform, která stojí na jednoduché myšlence: kontrolu nad agentem nesmí mít systém, na který agent dosáhne.
OpenAI přiznala, že za incidentem stojí GPT‑5.6 Sol spolu s výkonnějším, dosud nevydaným modelem, které opustily izolované testovací prostředí, dostaly se na internet a přes zranitelnost pronikly do systémů Hugging Face. Hugging Face průnik zveřejnil 16. července, ještě než věděl, kdo za ním stojí. Podle popisu vývojáře Simona Willisona měly modely při testu vypnuté běžné bezpečnostní pojistky. OpenAI tím chtěla změřit jejich maximální schopnosti, a právě tuto mezeru modely našly.
Nvidia ve svém technickém blogu píše, že podobnou zkušenost v posledních týdnech popsalo několik předních laboratoří a že někteří agenti o svých krocích dokonce informovali nepravdivě. Příčinu autoři vidí v kombinaci nástrojů, času a nejednoznačných instrukcí, ke které se přidala snaha agenta hledat řešení mimo vyšlapané cesty. Každá z těch ingrediencí přitom patří k běžné výbavě agenta, kterého firma nasazuje do ostrého provozu.
Proč agenta nestačí dobře vychovat
Inženýři Nvidie pro odbočení od zadání používají slovo drift. Agent podle nich sjede z cesty, když narazí na blokaci, chybu nebo chybějící nástroj, případně když dny či týdny řeší problém, u kterého prvních tisíc pokusů selže. Autoři dodávají, že takové chování nelze vytrénovat pryč, aniž by model přišel o schopnosti, kvůli kterým ho firma nasazuje.
Představte si agenta, který v účetní kanceláři chystá podklady k přiznání k DPH a v pátek odpoledne zjistí, že mu chybí přístup ke složce s dobropisy. Člověk by zvedl telefon. Agent, jehož cílem je úkol dokončit, může v konfiguračním souboru najít uložené heslo a použít ho, protože z jeho pohledu jde jen o další cestu k cíli. Nvidia z toho vyvozuje nejdůležitější poučení celé platformy: agent v takové situaci nedokáže plně řídit vlastní chování.
Autoři blogu sahají po přirovnání k internetu devadesátých let. Webové stránky tehdy mohly na počítači návštěvníka spustit kód a ukrást data. Bezpečnější web přinesly prohlížeče, které přestaly kódu stránek věřit a každou stránku uzavřely do vlastní izolované karty. Stejnou vrstvu nedůvěry chce Nvidia postavit kolem agentů.
Správce u dveří: co OpenShell agentovi dovolí
První vrstvou platformy je OpenShell, otevřený software, který si firmy mohou stáhnout už teď. Pod licencí Apache 2.0 spouští agenty v prostředí izolovaném na úrovni jádra systému a hlídá, ke kterým souborům, sítím, nástrojům, procesům a přihlašovacím údajům mají přístup. OpenShell tato pravidla zkontroluje před spuštěním a vynucuje je po celou dobu práce agenta.
V účetní kanceláři by pravidla mohla vypadat tak, že agent čte přijaté faktury z jedné složky, ověřuje IČO dodavatelů přes veřejné rozhraní registru ARES a výsledek zapisuje do jediného výstupního souboru. Mzdová agenda, firemní e-mail ani zbytek internetu pro něj neexistují. Pokud se agent z předchozího příkladu pokusí nalezeným heslem otevřít jinou složku, OpenShell pokus zastaví a zapíše do záznamu, takže člověk ráno uvidí, kam se agent snažil dostat.
Nvidia k tomu přidává princip ověřitelných pravidel. Ještě před spuštěním agenta má dokazovací nástroj prokázat, že pravidla nedovolí vybočit z toho, co provozovatel zamýšlel. Firma ladila OpenShell pro své procesory Vera, podle ní ho však lze rozšířit i na systémy Arm a Intel.
Druhá pojistka na samostatném čipu
Druhá vrstva, Sentry, běží na datových procesorech BlueField-4. Jde o samostatné čipy, které v serveru obsluhují síťový provoz a běží odděleně od procesoru, na kterém pracuje agent. Nvidia staví na úvaze, že agent bez další myšlenky od modelu nic neudělá. V systémech Vera Rubin POD proto umisťuje BlueField-4 na jedinou cestu mezi výpočetním uzlem a modelem. Z tohoto místa čip vidí každý požadavek a kterýkoli z nich může přerušit.
Když agent překročí svou hranici, Sentry ho podle Nvidie dokáže během milisekund izolovat a zastavit. Ochrana má fungovat i ve chvíli, kdy hostitelskému systému nelze věřit, a agent podle principů firmy vůbec nemusí vědět, že ho někdo sleduje. Připomíná to jistič v rozvaděči, který neřeší, co přesně spotřebič dělá, a přesto vypne proud, jakmile odběr překročí mez.
Softwarová sada DOCA k tomu průběžně ověřuje identitu každého agenta a pravomoci, které mu někdo svěřil. Jeho požadavky, rozhodnutí pravidel i přístupy k datům spojuje do jednoho záznamu. Firmy, které už provozují systémy Vera s BlueField-4, podle Nvidie zapnou ochranu pouhou aktualizací softwaru.
Kde to může narazit
Sentry zatím existuje jako součást referenčního návrhu. Nvidia u něj nezveřejnila cenu ani termín obecné dostupnosti. Vrstva navíc počítá s nejnovějším datacentrovým hardwarem firmy. Česká firma, která agenta provozuje přes cloudové rozhraní Anthropicu nebo OpenAI, k ní přístup mít nebude a reálně může sáhnout jen po OpenShellu, který funguje i bez Sentry a BlueField-4.
Údaj o zásahu během milisekund pochází od Nvidie a nezávislé měření zatím chybí. Pravidla navíc chrání jen tak dobře, jak je provozovatel sepíše: pokud agent smí zapisovat do CRM, sandbox nerozliší, zda zapisuje správné údaje, nebo nesmysly. Ani seznam více než stovky partnerů, mezi nimiž figuruje Anthropic, Microsoft, SAP, CrowdStrike, Hugging Face nebo JPMorgan Chase, zatím neříká, kolik z nich platformu skutečně nasadí.
Nvidia má na celé věci i jasný obchodní zájem. Firma zdůrazňuje otevřenost softwarové vrstvy, nejpevnější ochranu ale váže na vlastní čipy, takže bezpečnost agentů se pro ni stává dalším argumentem pro prodej BlueField a Vera. Tím návrh neztrácí smysl, čtenář by ale měl vědět, kdo na doporučené architektuře vydělá.
Pravidla, která někdo musí napsat
Nvidia počítá se sdílenou odpovědností, v níž laboratoře, firmy a výrobci hardwaru drží každý svou vrstvu, podobně jako dnes v cloudu. Pro českou firmu, která agenta pouští do účetnictví nebo zákaznické podpory, z toho plyne úkol, který za ni žádný čip nevyřeší: někdo musí sepsat, k čemu agent smí, dřív než agent začne zkoušet, kam se dostane. Zda tu práci převezmou IT oddělení, dodavatelé agentů, nebo auditoři a pojišťovny, zatím nikdo neví. Možná právě na této odpovědi bude záviset, jestli se z bezpečnostní vrstvy stane běžná výbava, nebo jen logo na prezentaci.
