Bezpieczeństwo agentów AI
Przeglądy i testy adwersarialne agentów, narzędzi i serwerów MCP: prompt injection, nadużycia narzędzi, nadmierna autonomia i eskalacja uprawnień w łańcuchach wywołań.
Modelujemy zagrożenia, testujemy i wzmacniamy systemy oparte na agentach i LLM. Zastawiamy pułapki, które wykrywają atakującego, zanim dotrze do Twoich danych, i pomagamy spełnić wymagania AI Act.
Przeglądy i testy adwersarialne agentów, narzędzi i serwerów MCP: prompt injection, nadużycia narzędzi, nadmierna autonomia i eskalacja uprawnień w łańcuchach wywołań.
Modele zagrożeń klasy audytowej dla systemów LLM, RAG i agentowych. Mechanizmy kontrolne wiążemy z obowiązkami wynikającymi z AI Act.
Fałszywe narzędzia, dokumenty-pułapki w bazie RAG i honeytokeny w pamięci agenta. Alarmują w chwili, gdy ktoś próbuje przejąć kontrolę nad Twoim systemem.
Ustalamy kategorię ryzyka Twojego systemu i wynikające z niej obowiązki. Pomagamy przygotować system zarządzania ryzykiem, dokumentację techniczną i mechanizmy kontrolne, dzięki którym wykażesz zgodność.
To zależy od zastosowania, a nie od technologii. AI Act uznaje za systemy wysokiego ryzyka m.in. AI używaną w rekrutacji, ocenie zdolności kredytowej, edukacji i infrastrukturze krytycznej (załącznik III) oraz AI będącą elementem bezpieczeństwa produktów regulowanych (załącznik I). Chatbot lub asystent zwykle podlega tylko obowiązkom przejrzystości. Pomagamy ustalić klasyfikację i ją udokumentować.
Zakazane praktyki obowiązują od 2 lutego 2025 r., obowiązki dla modeli ogólnego przeznaczenia od 2 sierpnia 2025 r., a obowiązki przejrzystości od 2 sierpnia 2026 r. Po nowelizacji (Digital Omnibus) wymagania dla systemów wysokiego ryzyka z załącznika III obowiązują od 2 grudnia 2027 r., a z załącznika I od 2 sierpnia 2028 r.
Tak, choć w innym zakresie. AI Act nakłada obowiązki nie tylko na dostawców modeli, ale też na podmioty stosujące AI. Jeśli budujesz własny produkt na cudzym modelu, np. przez API, możesz być dostawcą systemu AI w rozumieniu rozporządzenia.
Klasyczny pentest sprawdza aplikację i infrastrukturę. Test systemu AI obejmuje dodatkowo zachowanie modelu i agenta: prompt injection, nadużycia narzędzi, wycieki danych przez RAG i manipulację pamięcią agenta. Łączymy oba podejścia.
To pułapki wbudowane w system: fałszywe narzędzia, dokumenty-kanarki i honeytokeny. Uprawniony użytkownik nigdy z nich nie korzysta, więc każde ich użycie to sygnał ataku, praktycznie bez fałszywych alarmów.
Opisz krótko swój system. Pracujemy po polsku i po angielsku.
team@spulico.com