web-crawler

6calore

3risposta

Facebook ha implementato solo qualche web crawler? Il mio sito Web si è bloccato un paio di volte negli ultimi giorni, gravemente sovraccaricato da IP che ho risalito a Facebook. Ho provato a cercare

5calore

3risposta

Come si esegue la scansione di una pagina a scorrimento infinito?

Sto provando a creare qualcosa che esegue la scansione del contenuto da una pagina con scroll infiniti. Tuttavia, non riesco a ottenere le cose da sotto la prima 'pausa'. Come faccio a fare questo?

5calore

1risposta

La funzione di Python Scrapy deve essere richiamata appena prima che venga inviato il segnale spider_closed?

Ho scritto uno spider che utilizza scrapy, uno che fa un sacco di richieste HtmlXPathSelector per separare i siti. Crea una riga di dati in un file .csv dopo che ciascuna richiesta è (in modo asincron

5calore

1risposta

howto crawl tutti i commenti su singolo clip da youtube, più di 100 pagina

ho bisogno di strisciare verso il basso tutti i commenti (più di 2.600.000 i commenti, oltre 5000 pagine) per Stile video Gangnam di PSY da YouTube, vedi: http://www.youtube.com/all_comments?v=9bZkp7q

5calore

1risposta

JTidy o Jsoup per Java

Recentemente ho sviluppato web scrapers in python con BeautifulSoup. Ora voglio sapere quali librerie sono le più preferite in Java. Ho fatto qualche ricerca, principalmente vedo JTidy e JSoup. Qual'è

34calore

3risposta

Node.JS: come passare variabili a callback asincroni?

Sono sicuro che il mio problema si basa su una mancanza di comprensione della programmazione asynch in node.js ma qui va. Ad esempio: ho un elenco di collegamenti che desidero sottoporre a scansione.

11calore

1risposta

Come stampare il sorgente html su console con phantomjs

Ho appena scaricato e installato phantomjs sulla mia macchina. Copio e incollato il seguente script in un file chiamato hello.js: var page = require('webpage').create(); var url = 'https://www.google

6calore

3risposta

App Console per accedere al sito Web ASP.NET

Innanzitutto, scusate la mia ingenuità con questo argomento. Sono un programmatore in pensione che è iniziato prima che il DOS fosse in circolazione. Non sono un esperto di ASP.NET. Parte di ciò che d

7calore

1risposta

Scrapy Crawling Speed è lento (60 pagine/min)

Sto riscontrando una velocità di scansione lenta con scrapy (circa 1 pagina/sec). Sto eseguendo la scansione di un sito Web principale da server aws, quindi non penso che sia un problema di rete. L'ut

5calore

1risposta

Come assicurarsi che il crawler web funzioni per il sito ospitato su AWS S3 e utilizzi AJAX

La guida del webmaster di Google spiega che il server web deve gestire le richieste di URL contenenti _escaped_fragment_ (Il crawler modifica www.example.com/ajax.html#!mystate a www.example.com/ajax.