Come catturare il video formattato YUV dalla fotocamera, visualizzarlo ed elaborarlo

Question

Sto scrivendo un programma per iPhone (IOS 4) che cattura i video in diretta dalla telecamera e li elabora in tempo reale.

Preferisco acquisire nel formato kCVPixelFormatType_420YpCbCr8BiPlanarFullRange per un'elaborazione più semplice (ho bisogno di elaborare il canale Y). come posso visualizzare i dati in questo formato? Suppongo di aver bisogno di convertirlo in qualche modo su una UIImage e poi metterlo in qualche ImageView?

Attualmente ho il codice che mostra i dati kCVPixelFormatType_32BGRA, ma naturalmente non funziona con kCVPixelFormatType_420YpCbCr8BiPlanarFullRange.

Questo è il codice che uso ora per la trasformazione, qualsiasi aiuto/campione su come fare lo stesso per kCVPixelFormatType_420YpCbCr8BiPlanarFullRange sarà apprezzato. (Anche critiche al mio metodo attuale).

// Create a UIImage from sample buffer data 
- (UIImage *) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer 
{ 
    // Get a CMSampleBuffer's Core Video image buffer for the media data 
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); 
    // Lock the base address of the pixel buffer 
    CVPixelBufferLockBaseAddress(imageBuffer, 0); 

    // Get the number of bytes per row for the pixel buffer 
    void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer); 

    // Get the number of bytes per row for the pixel buffer 
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); 
    // Get the pixel buffer width and height 
    size_t width = CVPixelBufferGetWidth(imageBuffer); 
    size_t height = CVPixelBufferGetHeight(imageBuffer); 

    // Create a device-dependent RGB color space 
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); 

    // Create a bitmap graphics context with the sample buffer data 
    CGContextRef context = CGBitmapContextCreate(baseAddress, width, height, 8, 
               bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
    // Create a Quartz image from the pixel data in the bitmap graphics context 
    CGImageRef quartzImage = CGBitmapContextCreateImage(context); 

    // Unlock the pixel buffer 
    CVPixelBufferUnlockBaseAddress(imageBuffer,0); 

    // Free up the context and color space 
    CGContextRelease(context); 
    CGColorSpaceRelease(colorSpace); 

    // Create an image object from the Quartz image 
    UIImage *image = [UIImage imageWithCGImage:quartzImage]; 

    // Release the Quartz image 
    CGImageRelease(quartzImage); 

    return (image); 
} 

Answer 1

Rispondere alla mia domanda. questo risolto il problema che avevo (che era per afferrare uscita YUV, visualizzarla ed elaborarlo), anche se non è esattamente la risposta alla domanda:

per afferrare uscita YUV dalla telecamera:

AVCaptureVideoDataOutput *videoOut = [[AVCaptureVideoDataOutput alloc] init]; 
[videoOut setAlwaysDiscardsLateVideoFrames:YES]; 
[videoOut setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]]; 

Per visualizzarlo così com'è, utilizzare AVCaptureVideoPreviewLayer, non richiede molto codice. (Puoi vedere l'esempio FindMyiCon nel pacchetto di campioni WWDC per esempio).

per elaborare il canale y YUV (bi-pialla, in questo caso quindi è tutto in un unico pezzo, è anche possibile utilizzare memcpy invece di looping):

- (void)processPixelBuffer: (CVImageBufferRef)pixelBuffer { 

    CVPixelBufferLockBaseAddress(pixelBuffer, 0); 

    int bufferHeight = CVPixelBufferGetHeight(pixelBuffer); 
    int bufferWidth = CVPixelBufferGetWidth(pixelBuffer); 

    // allocate space for ychannel, reallocating as needed. 
    if (bufferWidth != y_channel.width || bufferHeight != y_channel.height) 
    { 
     if (y_channel.data) free(y_channel.data); 
     y_channel.width = bufferWidth; 
     y_channel.height = bufferHeight; 
     y_channel.data = malloc(y_channel.width * y_channel.height);   
    } 

    uint8_t *yc = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0); 
    int total = bufferWidth * bufferHeight; 
    for(int k=0;k<total;k++) 
    { 
     y_channel.data[k] = yc[k++]; // copy y channel 
    } 

    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0); 
}