Algoritmo per disegnare forme d'onda dall'audio

Question

Sto provando a disegnare una forma d'onda da un file audio grezzo. Ho demedito/decodificato un file audio usando FFmpeg e ho queste informazioni: buffer dei campioni, dimensione del buffer dei campioni, durata del file audio (in secondi), frequenza di campionamento (44100, 48000, ecc.), Dimensione del campione, campione format (uint8, int16, int32, float, double) e i dati audio originali.

Scavando su Internet ho trovato questo algoritmo (più here):

White Noise:

L'algoritmo

Tutto quello che dovete fare è casuale ogni campione da -amplitude a ampiezza. Nella maggior parte dei casi non ci interessa il numero di canali, quindi riempiamo semplicemente ogni campione con un nuovo numero casuale.

Random rnd = new Random(); 
short randomValue = 0; 

for (int i = 0; i < numSamples; i++) 
{ 
    randomValue = Convert.ToInt16(rnd.Next(-amplitude, amplitude)); 
    data.shortArray[i] = randomValue; 
} 

E 'davvero buono, ma non voglio disegnare in quel modo, ma in questo modo:

Esiste un algoritmo o idea di come posso essere disegno utilizzando il informazioni che ho?

Answer 1

In primo luogo, è necessario determinare la posizione in cui ogni campione verrà visualizzato.

int x = x0 + sample_number * (xn - x0)/number_of_samples; 

Ora, per tutti i campioni con la stessa x, determinare il minimo e il massimo separatamente per valori positivi e negativi. Disegna una linea verticale, una scura da massima negativa a massima positiva, poi una luce da min negativo a min positivo sopra la parte superiore.

Modifica: pensando a questo un po 'di più, probabilmente si desidera utilizzare una media anziché il minimo per le linee interne.

Answer 2

I grafici in basso includono semplicemente un intervallo di tempo più lungo, quindi se aumenti i tuoi numSamples otterresti un grafico più stretto. Ma con il rumore bianco non vedrai i picchi e gli avvallamenti che troverai nei normali suoni/musica.

Quindi, se è possibile aumentare la dimensione del campione o almeno aumentare il periodo di campionamento (asse x) inizierete ad emulare i grafici in basso. Usane due per ottenere l'effetto stereo.

Answer 3

C'è un bel programma audiowaveform da BBC R & D che fa quello che vuoi, puoi consultare le loro fonti.

Answer 4

Penso che tu ti stia riferendo a una forma d'onda descritta qui.

http://manual.audacityteam.org/o/man/audacity_waveform.html

non ho letto l'intera pagina. Ma ogni barra verticale rappresenta una finestra di campioni di forma d'onda. Il blu scuro sono i valori massimo positivo e minimo negativo in quella finestra (credo). E l'azzurro è il RMS che è la radice quadrata media. http://www.mathwords.com/r/root_mean_square.htm. (in pratica si quadrano i valori all'interno di ciascuna finestra, si prende una radice media e quindi quadrata.

Spero che questo aiuti.

Answer 5

showwavespic

ffmpeg può disegnare una forma d'onda con il filtro showwavespic.

ffmpeg -i input -filter_complex "showwavespic=split_channels=1" output.png 

Vedi showwavespic filter documentation per le opzioni.

showwaves

Si può anche fare un video della forma d'onda in diretta con il filtro showwaves.

ffmpeg -i input -filter_complex \ 
"showwaves=s=600x240:mode=line:split_channels=1,format=yuv420p[v]" \ 
-map "[v]" -map 0:a -movflags +faststart output.mp4 

Vedere showwaves filter documentation per le opzioni.

Answer 6

La seconda forma d'onda è probabilmente un'approssimazione di colonna di un semplice grafico a zig zag.

Ogni colonna è una linea dall'ampiezza del campione precedente all'ampiezza del campione corrente.

Quindi leggi tutti i campioni in una tela o texture come un pre-test come punti, quindi, una volta che hai fatto puoi fare due casi, creare barre invece di punti, disegnare verso l'alto fino all'ultimo campione o verso l'alto per questo campione a seconda di quale era più alto, purché si disegna una linea tra due. Ciò assicura che la forma d'onda sia piccola con energie basse tra i campioni successivi e alta con energie elevate.

È possibile creare alias e misurare più campioni, dipende solo dall'hardware su cui si sta eseguendo, se si desidera leggere 1000ds di campioni e creare una rappresentazione a 2d di array gigante dell'onda e quindi renderla in un formato più piccolo visualizzabile immagine o se vuoi solo eseguire solo 512 campioni e aggiornarli velocemente. con la tela 2D nei programmi dovrebbe essere veloce per creare forme d'onda dettagliate con più di 512 campioni.

... un'opzione diversa è uguale alla forma d'onda grigia nell'altra risposta, traccia il valore assoluto come linee da + campione corrente a campione corrente.

aiuta a fare la media di più campioni, ad esempio 4 campioni o ottenere un massimo di 4 campioni per avere un grafico meno irregolare, è un ragazzino di alias veloce.