Come eseguire query XPath da riga di comando in enormi file XML?

Question

Ho una raccolta di file XML e alcuni di essi sono piuttosto grandi (fino a ~ 50 milioni di nodi di elementi). Sto usando xmllint per la convalida di quei file, che funziona abbastanza bene anche per quelli enormi grazie all'API di streaming.

xmllint --loaddtd --stream --valid /path/to/huge.xml 

ho recentemente appreso che xmllint è anche in grado di fare query XPath linea di comando, che è molto utile.

xmllint --loaddtd --xpath '/root/a/b/c/text()' /path/to/small.xml 

Tuttavia, queste query XPath non funzionano per gli enormi file XML. Ho appena ricevuto un messaggio "Ucciso" dopo un po 'di tempo. Ho provato ad abilitare l'API di streaming, ma questo non porta a nessun output.

xmllint --loaddtd --stream --xpath '/root/a/b/c/text()' /path/to/huge.xml 

Esiste un modo per abilitare la modalità di streaming quando si fa query XPath utilizzando xmllint? Esistono altri modi migliori per eseguire query XPath a riga di comando per enormi file XML?

Answer 1

Se le espressioni XPath sono molto semplici, provare a xmlcutty.

Dalla homepage:

xmlcutty è un semplice strumento per ritagliarsi elementi dai grandi file XML, veloce. Poiché funziona in streaming, non utilizza quasi memoria e può elaborare circa 1 G di XML al minuto.

Answer 2

modifica ulimits potrebbe funzionare. Prova questo:

$ ulimit -Sv 500000 
$ xmllint (...your command)