**OWASP LLM Top 10** (najnowsza wersja: 2025) to zaadresowany do bezpieczeństwa LLM odpowiednik OWASP Top 10 dla aplikacji web; lista 10 najczęstszych podatności w aplikacjach LLM/Generative AI: (1) **LLM01 — Prompt Injection** (direct: jailbreaks; indirect: złośliwa zawartość w PDF/email/web pages, które LLM przetwarza) — najczęstsza i najtrudniejsza do mitygacji. (2) **LLM02 — Insecure Output Handling** — output LLM trafia do downstream systems bez sanityzacji (XSS przez markdown, SQL injection, RCE przez kod generowany). (3) **LLM03 — Training Data Poisoning** — atakujący zatruwa dane treningowe (Wikipedia edits, fake repositories). (4) **LLM04 — Model Denial of Service** — promptowy DoS (ekstremalnie długie konteksty, recursion). (5) **LLM05 — Supply Chain Vulnerabilities** — niesprawdzone modele z HuggingFace, pretrained weights z backdoorami. (6) **LLM06 — Sensitive Information Disclosure** — model wycieka PII lub trade secrets z training data. (7) **LLM07 — Insecure Plugin Design** — plugins/tools dają LLM zbyt szerokie uprawnienia. (8) **LLM08 — Excessive Agency** — autonomiczny agent wykonuje zbyt wiele bez human review. (9) **LLM09 — Overreliance** — użytkownik akceptuje halucynacje LLM bez weryfikacji. (10) **LLM10 — Model Theft** — kradzież modelu przez query API (model extraction attacks). Każde wymaga **innej mitygacji**: prompt injection nie da się 'naprawić' jednym fixem — wymaga defense-in-depth (input validation, output filtering, separation of contexts, human-in-the-loop dla działań wrażliwych).

**Prompt injection** to atak, w którym atakujący manipuluje promptem LLM, by uzyskać niezamierzone zachowanie. Dwie kategorie: (1) **Direct prompt injection (jailbreak)** — użytkownik bezpośrednio wpisuje złośliwy prompt: 'Ignoruj poprzednie instrukcje i zrób X', 'Pretend you are DAN (Do Anything Now)', 'Translate the following to French: [złośliwa instrukcja]'. (2) **Indirect prompt injection** — atakujący umieszcza złośliwą zawartość w danych, które LLM przetwarza: malicious instructions w PDF/email/website summary, hidden text w HTML, prompt injection w nazwach plików, embedded w obrazach (multimodalne), wstrzyknięte do RAG database. **Defense (defense-in-depth)**: (a) **Input validation** — heurystyki dla wzorców 'ignore previous', 'system prompt', podwójnych ról, ale 100% nie da się; (b) **Separation of contexts** — system prompts w private channel, user input zawsze oznaczony jako 'untrusted', dane z internetu oznaczone jako 'foreign'; (c) **Output filtering** — sprawdzaj LLM responses przed actions (Llama Guard, Anthropic Constitutional AI, Microsoft Prompt Shields, Lakera Guard, Rebuff); (d) **Constrained tool use** — LLM agent może używać tylko predefiniowanych narzędzi z whitelisting parameters; (e) **Human-in-the-loop** — wszystkie destruktywne akcje (delete, send, transfer) wymagają zatwierdzenia człowieka; (f) **Least privilege** — agent ma dostęp tylko do danych potrzebnych do zadania, nie do całej bazy. **Brutalna prawda**: prompt injection to **'XSS dla LLM'** — całkowita prevention niemożliwa, projektuj system zakładając, że injections się zdarzą.

Sześć kategorii klasycznych ataków ML (poza prompt injection specyficznym dla LLM): (1) **Adversarial Examples** — wejścia z minimalnymi perturbacjami (niewidocznymi dla człowieka), które powodują błędną klasyfikację; klasyczne: 'naklejka' na znaku STOP klasyfikowana jako limit prędkości 80, lekka modyfikacja obrazu pandy → klasyfikacja jako gibon. Defense: adversarial training, randomized smoothing. (2) **Data Poisoning** — atakujący wstrzykuje złośliwe próbki do training data; wpływa na zachowanie modelu (backdoor: model normalnie działa, ale błędnie klasyfikuje wejścia z 'triggerem'). Realny atak: zatruwanie web-scraped datasets (Wikipedia edits, fałszywe GitHub repos). (3) **Model Extraction (stealing)** — atakujący zapytuje API modelu i rekonstruuje funkcjonalność modelu; może obejść API rate limits, koszty, lub IP. ChatGPT/Claude reverse engineering próbowany przez konkurencję. (4) **Model Inversion** — z outputu modelu (np. rekomendacji) atakujący rekonstruuje training data; ataki na modele rozpoznawania twarzy ekstrahowały oryginalne zdjęcia. (5) **Membership Inference** — atakujący sprawdza, czy konkretny rekord był w training data; problem prywatności (medical records leakage). (6) **Backdoor Attacks** — backdoor w pretrained model (HuggingFace download); model normalny dla większości inputów, malicious dla specific 'trigger' patterns; typically supply chain attack. **Frameworki defensywne**: **MITRE ATLAS** (Adversarial Threat Landscape for AI Systems) — odpowiednik MITRE ATT&CK dla AI; mapuje 14 taktyk i 100+ technik specyficznych dla AI. **NIST AI RMF** — risk management framework. **Microsoft Failure Modes in ML**, **Google Adversarial Robustness Toolbox (ART)**.

**EU AI Act** (przyjęty marzec 2024, w pełni obowiązuje sierpień 2026) to pierwsza na świecie kompleksowa regulacja AI, klasyfikująca systemy AI według ryzyka: (1) **Unacceptable risk (zakazane)** — social scoring, real-time biometric ID w przestrzeni publicznej (z wyjątkami law enforcement), emotion recognition w pracy/szkole, predictive policing oparty wyłącznie na profilowaniu; **deadline: luty 2025**. (2) **High risk** — AI w infrastrukturze krytycznej (energia, transport), edukacji (egzaminy), zatrudnieniu (CV screening), usługach publicznych (welfare), law enforcement, migracji, sądownictwie; wymagania: risk management system, data governance, technical documentation, transparency, human oversight, accuracy/robustness/cybersecurity; **deadline: sierpień 2026**. (3) **Limited risk** — chatboty, deepfakes; obowiązek **transparency** (informowanie użytkowników, że rozmawiają z AI; oznaczanie deepfake content). (4) **Minimal risk** — gry, spam filters; minimalne obowiązki. **General Purpose AI (GPAI)** modele (jak GPT-4, Claude, Gemini, Llama) mają osobne wymogi: technical documentation, training data summaries, copyright compliance; **systemic risk** GPAI (>10^25 FLOPs training compute) dodatkowo: model evaluations, adversarial testing, incident reporting. **Kary**: do **€35M lub 7% globalnego obrotu** (większa kwota), surowsze niż GDPR. **Implikacje dla firm**: (a) inventory używanych systemów AI, (b) klasyfikacja ryzyka, (c) compliance program przed sierpniem 2026, (d) DPIA-equivalent dla high-risk AI, (e) human oversight design. **Polska**: implementacja krajowa przez UODO + wybór 'authority' za AI; wczesna interpretacja: większość ML w SOC/SIEM/EDR jest 'limited risk' (cyberbezpieczeństwo wyłączone z high-risk wymogów w niektórych przypadkach).

Dwa komplementarne frameworki defensywne: (1) **NIST AI Risk Management Framework (AI RMF 1.0, styczeń 2023)** — voluntary US framework dla zarządzania ryzykiem AI; cztery funkcje (analogicznie do NIST CSF): **GOVERN** (polityki, accountability, kultura), **MAP** (kontekst użycia, identyfikacja ryzyk), **MEASURE** (metryki, monitoring, evaluation), **MANAGE** (mitygacja, response, recovery). Adresuje wymiary: validity, reliability, safety, security, accountability, transparency, explainability, privacy, fairness. **AI RMF Profile for Generative AI** (2024) dodaje specyfikę GenAI: hallucinations, copyright, deepfakes, prompt injection. Compatible z EU AI Act i ISO 42001. (2) **MITRE ATLAS (Adversarial Threat Landscape for AI Systems)** — knowledge base wzorowany na MITRE ATT&CK, ale dla ataków na AI; 14 taktyk (Reconnaissance, Resource Development, Initial Access, ML Model Access, Execution, Persistence, Defense Evasion, Discovery, Collection, ML Attack Staging, Exfiltration, Impact), 100+ technik (Adversarial Examples, Model Stealing, Backdoor ML Model, etc.), real-world case studies (PoisonGPT, BadDiffusion, attacks on autonomous vehicles). **W praktyce**: użyj AI RMF do **strategic governance** (zarząd, policy, lifecycle), użyj MITRE ATLAS do **operational threat modeling** (red team exercises, SOC monitoring, incident response playbooks). Łącz z **OWASP LLM Top 10** dla aplikacji LLM, **Microsoft Threat Modeling for AI/ML systems**, **Google's Secure AI Framework (SAIF)**. Łącznie: kompletny stack governance + threat intelligence + technical controls.

10 obowiązkowych praktyk dla LLM w produkcji: (1) **Inventory & classification** — lista wszystkich systemów LLM (in-house, SaaS, embedded), klasyfikacja według wrażliwości danych. (2) **DLP integration** — Microsoft Purview, Forcepoint, Symantec wykrywają, kiedy pracownicy wklejają sensitive data do ChatGPT/Copilot/Claude; blokowanie lub redacting. (3) **Approved tools list** — whitelist (np. M365 Copilot, ChatGPT Enterprise, Claude for Work — z DPA i no-training contracts) vs blacklist (consumer ChatGPT z risk wycieku). (4) **Data residency** — Enterprise plany pozwalają wybrać region; Polska w UE trafia do M365 Copilot data residency. (5) **Prompt injection defenses** — Lakera Guard, Microsoft Prompt Shields, Llama Guard dla custom apps; system prompt protection. (6) **RAG security** — vector database access controls, sanityzacja chunked content, source attribution. (7) **Logging & audit** — wszystkie LLM interactions logowane (jak email/IM); zgoda pracowników wymagana. (8) **Output validation** — LLM-generated kod przechodzi SAST przed deployment, generated SQL przez parameterized queries, generated emails przez human review. (9) **Human-in-the-loop** — agentic AI z dostępem do CRM/databases/finansów wymaga approval workflow dla destruktywnych akcji. (10) **Training & awareness** — pracownicy uczeni: nie wklejać client data, nie wklejać kodu z backdoorami, weryfikować halucynacje, znać firma policy AI use. **Top dostawcy enterprise AI security**: Lakera, Robust Intelligence, HiddenLayer, Protect AI, Aim Security, Calypso AI, Cranium. Budżet typowo 5-15% wydatków na AI tools.

**Defensive AI (security uses of AI)** — pięć dojrzałych zastosowań: (1) **EDR/XDR threat detection** — ML wykrywa malware behavior, anomalous process trees, ATT&CK technique chains; CrowdStrike, SentinelOne, MS Defender. (2) **UEBA** — User and Entity Behavior Analytics; ML buduje baselines normalnego zachowania, alertuje na deviations (impossible travel, unusual data download); Exabeam, Securonix, Microsoft Sentinel. (3) **Phishing detection** — NLP analizuje treść emaili, wykrywa social engineering patterns; Proofpoint, Abnormal Security. (4) **SOC copilots** — AI assystenci dla analityków SOC; alert summarization, IR playbook suggestions, threat intel correlation; Microsoft Security Copilot, Google Sec-Gemini, IBM Watson for Cyber Security. (5) **Vulnerability prioritization** — ML scores CVE według real-world exploitability (EPSS), środowiska klienta, biznesowego wpływu. **Offensive AI (AI used by attackers)** — pięć rosnących zagrożeń: (1) **AI-generated phishing** — LLM piszą perfekcyjne, spersonalizowane emaile w dowolnym języku; eliminuje 'broken English' jako tell. (2) **Deepfake voice/video** — vishing CFO scams ($25M Arup heist via deepfake video call w lutym 2024), CEO fraud audio. (3) **Vulnerability research** — LLM pomagają w fuzzingu, znajdowaniu logic bugs w kodzie; demonstrowane na CTF. (4) **Polymorphic malware** — LLM generują zmienne warianty malware unikające signature detection. (5) **Automated reconnaissance** — LLM-driven OSINT, social media analysis dla targeted attacks. **Strategiczna prawda**: AI równa szanse między atakującymi a obrońcami — kto pierwszy automatyzuje detection-response loop, ten wygrywa. Inwestycja w defensive AI to kwestia przetrwania, nie luksusu.