Úvod > Články > Většinu AI chatbotů lze snadno obejít, odpoví pak i na problematické otázky

Většinu AI chatbotů lze snadno obejít, odpoví pak i na problematické otázky

Vědci ukázali, jak snadné je obejít bezpečnostní mechanismy většiny chatbotů. Ty pak poskytují informace o nelegálních činnostech a představují reálné riziko.

Bezpečnostní mechanismy v chatbotech jako ChatGPT, Gemini nebo Claude lze poměrně snadno obejít. Ukázala to studie izraelských vědců, kteří vytvořili univerzální metodu, jak tyto systémy „odblokovat“.

Výzkumníci popsali tzv. jailbreak, tedy techniku, při které chatbot přimějí k vygenerování odpovědi, kterou by za normálních okolností odmítl. Stačí jednoduše zadat speciálně navrženou textovou výzvu, která obejde zabudované bezpečnostní mechanismy. Útočníci tak epotřebují přístup k backendu ani žádné hackování serverů – stačí jim veřejné rozhraní.

Výsledkem jsou odpovědi na dotazy, které by měly být automaticky odmítnuty — například návod na výrobu drog, hackování sítí nebo praní špinavých peněz. Výzkumníci označují hrozbu jako „bezprostřední, reálnou a velmi znepokojující“.

„Co bylo dříve omezeno jen na státní činitele nebo organizované zločinecké skupiny, se brzy může ocitnout v rukou kohokoli s notebookem nebo jen mobilním telefonem,“ varují autoři.

Vědci oslovili hlavní firmy v oblasti AI, aby je na problém upozornili, ale mnoha reakcí se nedočkali. Některé firmy nereagovaly vůbec, jiné tvrdily, že podobné útoky nespadají do jejich programů na hlášení bezpečnostních chyb.

Podle zprávy by vývojáři měli důsledněji filtrovat trénovací data, nasazovat pokročilé filtry proti nebezpečným dotazům a zkoumat možnosti, jak nelegální informace z AI systémů odstranit.

Odborníci volají po přísnějším dohledu a bezpečnostním standardech. Podle nich se nestačí spoléhat jen na ochranu na úrovni rozhraní — je potřeba řešit bezpečnost už při samotném návrhu a testování modelů.