Match Sketch (Disegno) faccia foto a foto a colori digitali

Question

Ho intenzione di abbinare la faccia dello schizzo (foto di disegno) alla foto a colori. quindi per la ricerca voglio scoprire quali sono le sfide che si abbinano allo schizzo per disegnare facce colorate. Per ora ho scoprire che

1. differenza risoluzione in pixel
2. differenza tessitura
3. differenza di distanza
4. e colore (non molto effetto)

voglio sapere (in termini tecnici) quali sono le altre sfide e quali sono i metodi e gli algoritmi disponibili OPEN CV e JAVA CV per superare tali sfide?

Ecco alcuni esempi dei disegni e le foto che sono noti per corrispondere loro:

Answer 1

Si potrebbe dare Eigenfaces una prova, anche se non li ho mai provato con schizzi penso che potrebbero un minimo essere un buon punto di partenza per la tua ricerca.

See Wiki: http://en.wikipedia.org/wiki/Eigenface e il tutorial per OpenCV: (! Compresi non solo i Eigenfaces) http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html

Answer 2

Penso che il vecchio lavoro di James Elder sulla completezza del bordo mappa (usando ricostruzione risolvendo l'equazione di Laplace) è abbastanza rilevante qui. Vedere i risultati alla fine di questo documento: http://elderlab.yorku.ca/~elder/publications/journals/ElderIJCV99.pdf

Answer 3

Questo problema si chiama riconoscimento facciale multimodale. C'è stato un grande interesse nel confrontare una foto segnaletica di alta qualità (modalità 1) a immagini di sorveglianza di bassa qualità (modalità 2), un'altra è rappresentata da immagini frontali a profili o immagini a schizzi come l'OP. Minimi quadrati parziali (PLS)) e Tied Factor Analysis (TFA) sono stati utilizzati per questo scopo.

Una difficoltà chiave consiste nel calcolare due proiezioni lineari dall'immagine in modalità 1 (e modalità 2) in uno spazio in cui due punti essendo vicini significa che l'individuo è lo stesso. Questo è il passo tecnico chiave. Ecco alcuni articoli su questo approccio:

1. Abhishek Sharma, David W Jacobs: Bypassing Synthesis: PLS for Face Recognition with Pose, Low-Resolution and Sketch. CVPR 2011.
2. S.J.D. Prince, J.H. Elder, J. Warrell, F.M. Felisberti, Tied Factor Analysis for Face Recognition across Large Pose Differences, IEEE Patt. Anale. Mach. Intell, 30 (6), 970-984, 2008. Elder è uno specialista in questo settore e ha a variety of papers on the topic.
3. B. Klare, Z. Li e A. K. Jain, Matching forensic sketches to mugshot photos, IEEE Pattern Analysis e macchina di intelligenza, 29 settembre 2010.

Come potete capire si tratta di una ricerca/area problema attiva. In termini di utilizzo di OpenCV per superare le difficoltà, permettetemi di darvi un'analogia: dovete costruire una casa (abbinare schizzi alle foto) e chiedete come sarà d'aiuto avere un martello Stanley (OpenCV). Certo, probabilmente ti aiuterà. Ma avrai anche bisogno di molte altre risorse: legno, tempo/denaro, pipe, cavo, ecc.

Answer 4

OpenCV può essere utilizzato per l'estrazione di funzioni e l'apprendimento automatico necessari per questa attività.Immagino che tu possa iniziare con i documenti nelle risposte sopra, iniziare con alcune caratteristiche di base e prototipare un classificatore con OpenCV.

Immagino che potresti anche voler rilevare e abbinare punti funzione sui volti. Se utilizzi questo approccio, dovrai fare da solo i rilevatori di punti caratteristica (allenare il rivelatore Viola-Jones in OpenCV con i tuoi dati è un'opzione).