screen-scraping

25calore

3risposta

Scrape siti Web con scorrimento infinito

Ho scritto molti scraper ma non sono veramente sicuro di come gestire gli scrollers infiniti. In questi giorni la maggior parte dei siti Web ecc., Facebook, Pinterest ha scrollers infiniti.

6calore

2risposta

leggere automaticamente chattare testo da Minecraft

In Minecraft speravo di trovare un modo per leggere la chat automaticamente come nella foto qui sotto Al fine di registrare le transazioni effettuate nel negozio virtuale in un database PostgreSQL. Pr

6calore

1risposta

L'invio di dati del modulo alla pagina aspx

V'è la necessità di fare una ricerca sul sito web url = r'http://www.cpso.on.ca/docsearch/' questa è una pagina aspx (sto cominciando questo trekking come di ieri, mi dispiace per le domande del noo

27calore

2risposta

Impossibile chiamare firefox dal selenio in python sul computer AWS

Sto provando a utilizzare il selenio da Python per scansionare alcune pagine dinamiche con javascript. Tuttavia, non posso chiamare firefox dopo aver seguito le istruzioni del selenio sulla pagina pyp

7calore

4risposta

scrapy come impostare l'URL di riferimento

Ho bisogno di impostare l'URL di riferimento, prima di raschiare un sito, il sito utilizza l'autenticazione basata su url, quindi non mi consente di accedere se il referente non è valido. Qualcuno pot

6calore

2risposta

Nokogiri: come trovare un div per id e vedere quale testo contiene?

Ho appena iniziato a utilizzare Nokogiri questa mattina e mi chiedo come eseguire un compito semplice: ho solo bisogno di cercare una pagina web per un div come questo: <div id="verify" style="display

5calore

1risposta

JTidy o Jsoup per Java

Recentemente ho sviluppato web scrapers in python con BeautifulSoup. Ora voglio sapere quali librerie sono le più preferite in Java. Ho fatto qualche ricerca, principalmente vedo JTidy e JSoup. Qual'è

14calore

2risposta

Ottenere gli attributi in PyQuery?

Sto usando PyQuery e voglio stampare un elenco di collegamenti, ma non riesco a capire come ottenere l'attributo href da ciascun collegamento nella sintassi PyQuery. Questo è il mio codice: e = pq(url

6calore

1risposta

Impostazione di un modulo C# su una posizione negativa

Sto lavorando a uno strumento per Windows che si interfaccia con CloudApp utilizzando la sua API. Ho trovato alcuni articoli su come ottenere l'acquisizione della regione che ho modificato per adattar

5calore

3risposta

Come si raschia da un sito Web che richiede credenziali (SSL)?

Mi stavo chiedendo se qualcuno può indicarmi la giusta direzione. Voglio raschiare il contenuto HTML/testo da un sito Web abilitato SSL (https nell'URL). Ci saranno più filiali nel filesystem di detto