Decodifica i frame video su iPhone GPU

Question

Sto cercando il modo più veloce per decodificare i frame di un video locale mpeg-4 su iPhone. Sono semplicemente interessato ai valori di luminanza dei pixel in ogni 10 fotogramma. Non ho bisogno di rendere il video da nessuna parte.

Ho provato ffmpeg, AVAssetReader, ImageAssetGenerator, OpenCV e MPMoviePlayer ma sono tutti troppo lenti. La massima velocità che ottengo è ~ 2x (2 minuti di video scansionati in un minuto). Vorrei qualcosa di più vicino a 10x.

Supponendo che i miei tentativi sopra non abbiano utilizzato la GPU, esiste un modo per raggiungere il mio obiettivo con qualcosa che viene eseguito sulla GPU? OpenGL sembra che sia principalmente per l'output di rendering ma l'ho visto usato come filtro per i video in arrivo. Forse è un'opzione?

Grazie in anticipo!

Answer 1

Se si desidera utilizzare una soluzione solo iOS 5, dare un'occhiata all'app di esempio ChromaKey della sessione WWDC 2011 su AVCaputureSession.

Questa demo acquisisce 30 FPS di video dalla videocamera incorporata e passa ogni frame a OpenGL come trama. Quindi usa OpenGL per manipolare il frame e, facoltativamente, scrive il risultato in un file video di output.

Il codice utilizza una seria magia di basso livello per collegare un buffer Core Video Pixel da una AVCaptureSession ad OpenGL in modo che condividano la memoria nell'hardware grafico.

Dovrebbe essere abbastanza semplice modificare AVCaptureSession in modo che utilizzi un file film come input anziché come input della videocamera.

Probabilmente è possibile impostare la sessione per consegnare i frame in formato Y/UV anziché RGB, dove il componente Y è luminanza. In caso contrario, sarebbe molto semplice scrivere uno shader in grado di convertire i valori RGB per ciascun pixel in valori di luminanza.

Dovreste essere in grado di fare tutto questo su TUTTI i fotogrammi, non solo su ogni 10 fotogramma.

Answer 2

Apparentemente vImage potrebbe essere appropriato, presupponendo che sia possibile utilizzare iOS 5. Ogni decimo fotogramma sembra essere motivo di utilizzo di un framework come vImage. Tuttavia, qualsiasi tipo di elaborazione in tempo reale quasi certamente richiederà OpenGL.

Answer 3

Supponendo che il collo di bottiglia della tua applicazione sia nel codice che converte i fotogrammi video in un formato visualizzabile (come RGB), potresti essere interessato a un codice che ho condiviso utilizzato per convert one .mp4 frame (encoded as YV12) to RGB using Qt and OpenGL. Questa applicazione carica il frame sulla GPU e attiva un GLSL fragment shader per eseguire la conversione da YV12 a RGB, in modo che possa essere visualizzato in un QImage.

static const char *p_s_fragment_shader = 
    "#extension GL_ARB_texture_rectangle : enable\n" 
    "uniform sampler2DRect tex;" 
    "uniform float ImgHeight, chromaHeight_Half, chromaWidth;" 
    "void main()" 
    "{" 
    " vec2 t = gl_TexCoord[0].xy;" // get texcoord from fixed-function pipeline 
    " float CbY = ImgHeight + floor(t.y/4.0);" 
    " float CrY = ImgHeight + chromaHeight_Half + floor(t.y/4.0);" 
    " float CbCrX = floor(t.x/2.0) + chromaWidth * floor(mod(t.y, 2.0));" 
    " float Cb = texture2DRect(tex, vec2(CbCrX, CbY)).x - .5;" 
    " float Cr = texture2DRect(tex, vec2(CbCrX, CrY)).x - .5;" 
    " float y = texture2DRect(tex, t).x;" // redundant texture read optimized away by texture cache 
    " float r = y + 1.28033 * Cr;" 
    " float g = y - .21482 * Cb - .38059 * Cr;" 
    " float b = y + 2.12798 * Cb;" 
    " gl_FragColor = vec4(r, g, b, 1.0);" 
    "}"