screen-scraping

12calore

10risposta

raschiare ASIN da URL amazon utilizzando JavaScript

Supponendo che ho un URL del prodotto Amazon in questo modo http://www.amazon.com/Kindle-Wireless-Reading-Display-Generation/dp/B0015T963C/ref=amb_link_86123711_2?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-

44calore

7risposta

Firefox/Webkit su Linux senza testa e script?

Sto cercando di automatizzare alcune interazioni web, ovvero il download periodico di file da un sito Web sicuro. Questo in pratica comporta l'inserimento del mio nome utente/password e la navigazione

172calore

12risposta

Web scraping con Python

Mi piacerebbe prendere i tempi di alba/tramonto ogni giorno da un sito web. È possibile raschiare il contenuto Web con Python? quali sono i moduli utilizzati? C'è qualche tutorial disponibile?

5calore

2risposta

Come estrarre i link da una pagina Web usando lxml, XPath e Python?

Ho questa query XPath: /html/body//tbody/tr[*]/td[*]/a[@title]/@href Estrae tutti i link con l'attributo title - e dà la href in FireFox's Xpath checker add-on. Tuttavia, non riesco a usarlo con lxm

8calore

3risposta

test unitari per screen-scraping?

Sono un neofita dei test unitari quindi vorrei avere l'opinione di alcuni che sono un po 'più attenti. Ho bisogno di scrivere qualche codice di screen-scraping a breve. Il sistema di destinazione è un

14calore

7risposta

Programmatic Python Browser con JavaScript

Voglio scansionare un sito web che utilizza JavaScript. C'è il mechanize, il browser web programmatico per Python. Tuttavia, (comprensibilmente) non interpreta JavaScript. Esiste un browser programmat

27calore

2risposta

Come registrare lo schermo e salvarlo come animazione gif?

Esiste un tale software?

8calore

3risposta

Libreria di scraping per PHP - phpQuery?

Sto cercando una libreria PHP che mi permetta di scartare pagine web e si occupa di tutti i cookie e di precompilare i moduli con i valori predefiniti, questo è quello che mi infastidisce di più. Sono

9calore

3risposta

Proxy rotanti per scraping web

Ho un web crawler python e voglio distribuire le richieste di download tra molti server proxy, probabilmente con il funzionamento di squid (anche se sono aperto alle alternative). Ad esempio, potrebbe

15calore

6risposta

Web scraping con jquery e ajax

Desidero essere in grado di manipolare l'html di un determinato URL. Qualcosa come lo scraping in html. So che questo può essere fatto usando curl o qualche libreria di scraping. Ma mi piacerebbe sape