Come gestire le perdite di memoria in RMagick in Ruby?

Question

Sto sviluppando un'applicazione web con Merb e sto cercando una libreria di elaborazione delle immagini sicura e stabile. Lavoravo con Imagick in PHP, poi mi sono trasferito in ruby ​​e ho iniziato a usare RMagick. Ma c'è un problema. Script a esecuzione prolungata che causano perdite di memoria. Esistono due soluzioni, ma non so quale sia la più stabile. Allora, cosa ne pensate?

In questo momento, la mia app utilizza l'API interna che ho scritto per elaborare le immagini, in PHP. Funziona su server separati insieme ad altre applicazioni, quindi non è un grosso problema. Ma penso che non sia una buona architettura.

In ogni caso, considererò qualche suggerimento pratico.

Answer 1

Anche io ho riscontrato questo problema - la soluzione è forzare la garbage collection.

Dopo aver riassegnato la variabile immagine a una nuova immagine, utilizzare semplicemente GC.start per assicurarsi che il vecchio riferimento venga rilasciato dalla memoria.

Nelle versioni successive di RMagick, credo anche che puoi anche chiamare distruggere! sull'immagine al termine dell'elaborazione.

Una combinazione dei due probabilmente garantirebbe di essere coperto, ma non sono sicuro dell'impatto sulla performance reale della vita (suppongo che sia trascurabile nella maggior parte dei casi).

In alternativa, è possibile utilizzare mini-magick che è un wrapper per il client della riga di comando di ImageMagick.

Answer 2

Questo non è dovuto a ImageMagick; è dovuto a Ruby stesso, ed è un problema ben noto. Il mio suggerimento è di dividere il programma in due parti: una parte di lunga durata che alloca poca memoria e si occupa solo del controllo del sistema, e un programma separato che funziona effettivamente l'elaborazione. Il processo di controllo di lunga durata dovrebbe fare abbastanza per trovare un po 'di lavoro per un processo figlio che genera e il bambino dovrebbe eseguire tutta l'elaborazione per quel particolare oggetto di lavoro.

Un'altra opzione sarebbe quella di lasciare i due combinati, ma dopo che un'unità di lavoro è completa, utilizzare exec per sostituire il processo con una versione appena avviata dello stesso programma, che dovrebbe cercare un altro oggetto di lavoro, elaborarlo e esegui di nuovo se stesso.

Ciò presuppone che gli elementi di lavoro siano piuttosto grandi, che sono quasi certamente se si utilizza ImageMagick. Se non lo sono, scoprirai che il sovraccarico di generazione di un nuovo processo e l'interpretazione dell'interpretazione di Ruby dell'intero programma inizia a diventare un po 'troppo grande. È possibile gestire questo problema facendo in modo che il programma esegua più unità di lavoro (ad esempio, dieci o cento) prima di eseguire nuovamente la propria esecuzione.

Answer 3

In realtà, non è proprio un problema specifico di Ruby, anche altri Interpreti lo condividono. Il problema concreto è che il GC di Ruby vede solo la memoria allocata da Ruby stessa, e non dalle librerie esterne (con la notevole eccezione della libreria che utilizza le funzionalità di gestione della memoria di Rubys). Quindi, un oggetto ImageMagick in Ruby è molto piccolo, ma l'immagine nello spazio gestito da ImageMagick è grande. Quindi, questa non è una perdita di per sé, ma si comporta come tale. Rubys Garbage Collector non entra mai in azione se il tuo Processo rimane sotto un certo limite (8 MB standard). Dato che ImageMagick non crea mai oggetti di grandi dimensioni nello spazio Ruby, probabilmente non esegue mai il kicking. Quindi, o usi il metodo proposto per generare un nuovo processo o usare exec. Un altro piuttosto elegante è quello di avere un servizio di elaborazione delle immagini nel back-end che si biforca per ogni attività. Un altro sarebbe avere un qualche tipo di monitoraggio sul posto che avvia il GC ogni tanto.

C'è un'altra libreria denominata MagickWand di Timothy Paul Hunter (l'autore di RMagick) che tenta di risolvere questi problemi e creare un'API migliore. È in alpha e richiede una versione piuttosto nuova di ImageMagick, però.

Answer 4

Quando si utilizza RMagick è importante ricordare di distruggere l'immagine una volta terminato, altrimenti si riempirà la directory/tmp quando si lavora con grandi serie di immagini. Ad esempio, devi chiamare destroy!

require 'RMagick' 

Dir.foreach('/home/tiffs/') do |file| 
    next if file == '.' or file == '..' 
     image = Magick::Image.read(file).first 
     image.format = "PNG" 
     image.write("/home/png/#{File.basename(file, '.*')}.png") 
     image.destroy! 
end