Adversarial Machine Learning
Visita anche il nuovo blog sulla sicurezza del machine learning
Cosa è l' Adversarial Learning?
L'Adversarial Learning (o apprendimento automatico in ambiente ostile) è una nuova area di ricerca che sorge all'intersezione tra il campo dell'apprendimento automatico e quello della sicurezza informatica. L'obiettivo è sia quello di fornire maggiori indicazioni per quanto riguarda le proprietà di sicurezza degli algoritmi di apprendimento automatico contro attacchi specificatamente mirati, sia quello di sviluppare contromisure adatte a costruire e progettare sistemi di apprendimento automatico più sicuri.
Valutazione della sicurezza
Uno dei problemi più critici della classificazione in ambiente ostile è quello di capire come e fino a che punto un classificatore possa resistere efficacemente ad attacchi specifici. Per affrontare questo problema, i nostri ricercatori hanno proposto una metodologia che permette di valutare la sicurezza degli algoritmi di classificazione simulando in anticipo e in modo proattivo i potenziali attacchi. Questa metodologia, in alcuni casi, può anche suggerire come mitigare l'impatto di alcuni attacchi sugli algoritmi considerati.
Attacchi evasivi
Gli attacchi di tipo evasivo sono tra i più popolari che si possano riscontrare in ambiente ostile durante la fase operativa. Un esempio tipico è quello in cui spammer e hacker tentano di evadere la rilevazione offuscando il contenuto di email di spam o codice malevolo. I nostri ricercatori hanno recentemente sviluppato un attacco di tipo evasivo che è efficace contro classificatori lineari e non lineari. E' stato inoltre dimostrato che algoritmi di apprendimento automatico popolari come le Support Vector Machines o le Reti Neurali possono essere evasi facendo solo poche modifiche ai campioni di attacco originali.
Attacchi contaminativi
Gli algoritmi di apprendimento automatico vengono spesso ri-addestrati su dati collezionati durante la fase operativa per seguire i cambiamenti della distribuzione dei dati. In questo scenario, un attaccante può quindi contaminare i dati di addestramento iniettando campioni costruiti ad hoc per compromettere l'intero processo di apprendimento. I ricercatori del PRA Lab hanno dimostrato che le Support Vector Machines possono essere severamente compromesse da questo tipo di attacco, come anche i sistemi biometrici adattivi che aggiornano automaticamente il profilo biometrico dei loro utenti.
Adversarial Clustering
Sebbene usati in ambiti riguardanti la sicurezza, gli algoritmi di clustering non sono stati originariamente concepiti per far fronte a tentativi di attacco mirati a sovvertire il processo di clustering stesso. Quest'area di ricerca mostra potenziali tentativi di attacco in grado di contaminare in modo significativo l'intero processo di clustering, e in grado di nascondere alcuni campioni malevoli all'interno di alcuni cluster esistenti. I nostri risultati sperimentali dimostrano che gli algoritmi di clustering possono essere compromessi in modo significativo da attacchi mirati.
Adversarial Feature Selection
Nonostante gli algoritmi di feature selection siano spesso usati in applicazioni di sicurezza informatica, come rilevazione di spam e malware, solo pochi autori hanno considerato il loro impatto sulla sicurezza dei sistemi di classificazione automatica contro attacchi evasivi e contaminativi. In questo ambito di ricerca, noi non solo mostriamo che gli algoritmi di feature selection possono peggiorare in maniera significativa la sicurezza dei sistemi di classificazione contro questi attacchi, ma proponiamo inoltre algoritmi di feature selection sicuri per contrastare queste minacce.
