Algoritmi per la ricostruzione faccia 3D

Question

progetto: la ricostruzione faccia 3D

ingresso: 2D frontale fronte Immagine in uscita: la ricostruzione faccia 3D e la simulazione di espressione Piattaforma: Matlab o Opencv cpp.

Ho scoperto, dopo lo studio, che l'algoritmo 3D Morphable Models (3DMM) è un buon punto di partenza per il mio progetto. Ma non ho il Basel Face Model (3D face database) per implementare l'algoritmo. Tuttavia, ho scaricato GavabDB dal http://gavab.escet.urjc.es/recursos_en.html. Posso sviluppare 3DMM utilizzando GavabDB per la ricostruzione del volto 3D dall'immagine frontale? Dopo aver letto il documento di descrizione del set di dati, ho osservato che Gavab non fornisce i dati di Texture delle scansioni 3D; i dati delle texture sono obbligatori?

La qualità dell'output dipende dal database 3D utilizzato per la modellazione?

Answer 1

Il modello original morphable model e Basel Face Model, che fa parte dello stesso ricercatore principale, contengono texture e geometria.

È perfettamente possibile calcolare la parte geometrica di un modello Morphable dai dati geometrici 3D senza trama. Questo ti dà un modello che cattura le variazioni statisticamente più significative nella forma.

Tuttavia, l'abbinamento di un modello di geometria pura a un'immagine di faccia 2D è più difficile rispetto all'abbinamento di un modello con una trama. Si richiede essenzialmente ...

1. identificare (o annotare) le posizioni di alcuni punti punto di riferimento l'immagine faccia 2D in
2. ottimizzare per il 3D di posa e di parametri di forma che portano i rispettivi punti di riferimento in 3D Morphable modello vicino ai punti di riferimento annotati dopo la proiezione con una videocamera sconosciuta.

Questo è un problema interessante, ma non banale. Per il passaggio 2, consiglierei di iniziare assumendo la proiezione ortogonale.

Per quanto riguarda la domanda sulla qualità dell'output: se nel database si dispone di un numero sufficientemente grande di modelli 3D, non è necessario che le singole scansioni siano di qualità particolarmente elevata. Il rumore non verrà visualizzato nei componenti principali del modello che verrà effettivamente utilizzato. I fori nelle scansioni, tuttavia, sono un problema.

Ultimo ma non meno importante, lasciami spudoratamente indicarti un paper che ho scritto alcuni anni fa. Non risolve il tuo problema, ma contiene una sezione sull'adattamento di un modello 3D morphable (solo geometria) a una silhouette di un viso 2D estratta da una foto.