People search with textual queries

L'applicazione demo che viene presentata in questa pagina è stata realizzata per mostrare il funzionamento di un sistema di people search da noi proposto, ovvero un sistema che consente di recuperare immagini o tracce video di persone in base a una descrizione (query) testuale del loro abbigliamento, ad esempio: "persone che indossano una maglia bianca a maniche lunghe e pantaloncini corti".
 
Questa funzionalità può essere utile in diverse applicazioni, tra le quali:
  • l'analisi forense, ad esempio per consentire a un operatore di recuperare automaticamente all'interno di filmati di video sorveglianza le tracce video nelle quali compaia un individuo sospetto, avendo a disposizione solo una sua descrizione fornita da un testimone oculare;
  • la gestione di album fotografici personali, per la ricerca e il tagging automatico di fotografie di persone in base all'abbigliamento indossato;
  • applicazioni per la divulgazione del patrimonio culturale, ad esempio per la ricerca di persone in abiti tradizionali.
Questo dimostratore fornisce un'interfaccia web per eseguire interrogazioni su immagini appartenenti a uno dei data set più usati nel campo della person re-identification, VIPER.
Il sistema consente di eseguire interrogazioni testuali riguardanti la presenza di un insieme predefinito di caratteristiche dell'abbligliamento (attributi). In questa demo, gli attributi riguardano il colore dei vestiti della parte superiore (busto e braccia) e inferiore (gambe) del corpo, che vengono rilevate all'interno di ogni immagine grazie ad un metodo basato sulle pictorial structures.
 
Per ciascun attributo viene costruito un rilevatore, che riceve in ingresso il descrittore di un'immagine (lo stesso descrittore da noi usato per la person re-identification) e fornisce una stima della probabilità che sia presente nell'immagine. I rilevatori sono stati implementati attraverso l'algoritmo di classificazione support vector machine (SVM), e sono stati addestrati su un sottoinsieme del data set in fase di progetto del sistema.
 
Il sistema consente di formulare sia query semplici, cioè relative a un solo attributo (per esempio: "persone che indossano una maglia bianca"), sia query complesse (per esempio: "persone che indossano una maglia bianca AND pantaloni blu"). Data una query, per ognuna delle immagini su cui si deve eseguire la ricerca, il sistema interroga i rilevatori corrispondenti agli attributi presenti nella query, e fornisce come risultato le immagini ordinate in base alla rilevanza rispetto alla stessa query, cioè al grado di corrispondenza con l'abbigliamento delle persone presenti nelle immagini.