Gemme/strumenti per scraping di pagine Web disponibili in Ruby

Question

Sto provando a raschiare le pagine Web in uno script Ruby su cui sto lavorando. Lo scopo del progetto è mostrare quali ETF e fondi comuni di investimento azionario sono più compatibili con la filosofia di investimento del valore.

Alcuni esempi di pagine che vorrei raschiare sono:

http://finance.yahoo.com/q/pr?s=SPY+Profile 
http://finance.yahoo.com/q/hl?s=SPY+Holdings 
http://www.marketwatch.com/tools/mutual-fund/list/V 

Cosa web scraping strumenti mi consigliate per Ruby, e perché? Tieni presente che ci sono migliaia di fondi azionari disponibili, quindi qualsiasi strumento che uso deve essere ragionevolmente veloce.

Sono nuovo di Ruby, ma ho esperienza nell'uso di lxml per la scansione di pagine Web in Python (https://github.com/jhsu802701/dopplervalueinvesting/blob/master/screen.py). Una volta scaricate le pagine su oltre 5000 scorte, lxml può racchiuderle tutte in pochi minuti. (Ricordo che cercavo BeautifulSoup ma rifiutando perché era troppo lento.)

Answer 1

Ci sono così tanti scraping gems disponibile in Ruby come Hpricot, Nokogiri e tanti. Raccomando Nokogiri di raschiare static web pages. Se stai raschiando dynamic web pages (significa che coinvolge clic del pulsante, invia modulo ecc ..). Raccomando Mechanize che utilizza internamente Nokogiri.

Answer 2

Vedo un elenco di soluzioni di analisi HTML a https://www.ruby-toolbox.com/categories/html_parsing.html. Vado con Nokogiri perché è l'unico ancora attivo.