screen-scraping

9calore

8risposta

Come posso evitare che venga raschiato il mio sito asp.net?

Come posso impedire che il mio sito Web asp.net 3.5 venga sottoposto a raschia schermo da parte del mio concorrente? Idealmente, voglio assicurarmi che nessun webbot o screenshot possa estrarre dati d

9calore

2risposta

Esiste una libreria simile a lxml o nokogiri per Java?

Voglio fare un po 'di screen scraping, idealmente usando selettori CSS e non XPath. Esiste una libreria simile a quella in Ruby o Python?

16calore

7risposta

WebBrowsing in C# - Librerie, strumenti, ecc. - Qualcosa come Mechanize in Perl?

ricerca di qualcosa di simile a Mechanize for .NET ... Se non sai cosa è Mechanize .. http://search.cpan.org/dist/WWW-Mechanize/ Manterrò un elenco di suggerimenti qui. Qualsiasi cosa per la navigazio

6calore

5risposta

Come proteggi un database di collegamenti dallo scraping?

Ho un ampio database di collegamenti, che sono tutti ordinati in modi specifici e sono allegati ad altre informazioni, che è prezioso (per alcune persone). Attualmente il mio setup (che sembra funzion

15calore

7risposta

Scrittura schermo con Python

Python dispone di librerie di scraping schermo che offrono supporto JavaScript? Sto usando pycurl per semplici richieste HTML e HtmlUnit di Java per le richieste più complesse che richiedono il suppor

5calore

6risposta

Come sapere se il sito web da raschiare è cambiato?

Sto usando PHP per raschiare un sito Web e raccogliere alcuni dati. È tutto fatto senza usare espressioni regolari. Sto usando il metodo explode() di php per trovare invece dei tag HTML particolari. È

5calore

3risposta

Ottenere HTML da pagine Web che utilizzano AJAX

Volevo sapere come raschiare le pagine Web che utilizzano AJAX per recuperare il contenuto della pagina Web da sottoporre a rendering. In genere un GET HTTP per tali pagine preleverà semplicemente la

20calore

3risposta

Posso raschiare il flash?

Mi piacerebbe raschiare un sito Web per raccogliere a livello di codice qualsiasi collegamento esterno all'interno di qualsiasi elemento flash nella pagina. Mi piacerebbe anche raccogliere qualsiasi a

10calore

3risposta

Come raschiare un _private_ gruppo google?

Mi piacerebbe raschiare l'elenco di discussione di un gruppo privato google. È un elenco di più pagine e potrei doverlo ripetere più tardi in modo che lo scripting suoni come la strada da percorrere.

5calore

5risposta

Come utilizzare HTML Parser per ottenere informazioni complete su tutti i tag nella pagina HTML

Sto utilizzando HTML Parser per sviluppare un'applicazione. Il seguente codice non è in grado di ottenere l'intero set di tag nella pagina. Ci sono alcuni tag che sono stati persi e anche gli attribut