web-scraping

7calore

1risposta

Utilizzo di Scrapy Itemloader in un loop

Voglio utilizzare Scrapy sul sito Web di Dmoz che usano nei loro tutorial, ma invece di limitarsi a leggere i libri nell'URL dei libri (http://www.dmoz.org/Computers/Programming/Languages/Python/Books

6calore

1risposta

Effettuare la successiva richiesta POST in sessione non funziona - scraping web

Ecco cosa sto cercando di fare: andare here, quindi premere "cerca". Prendi i dati, poi fai clic su "Avanti" e continua a colpire fino a quando non sei fuori dalle pagine. Tutto fino a colpire "next"

12calore

3risposta

Get meta proprietà content tag con BeautifulSoup e Python

Sto cercando di usare Python e bella zuppa per estrarre la parte dei contenuti dei tag qui sotto: <meta property="og:title" content="Super Fun Event 1" /> <meta property="og:url" content="http://supe

5calore

1risposta

web raschiando una pagina web che ha contenuti dinamici caricati tramite la tecnologia AJAX

dire che mi auguro per raschiare i prodotti su questo page (http://shop.coles.com.au/online/national/bread-bakery/fresh/bread#pageNumber=2¤tPageSize=20) Ma i prodotti viene caricato da una richi

5calore

1risposta

Navigazione condizionale di Nightmare.js

Sto cercando di capire come dovrei creare uno script nightmare.js utilizzando la logica "if-then". Ad esempio var Nightmare = require('nightmare'); var nightmare = Nightmare({ show: true, p

5calore

2risposta

XPath seleziona collegamenti immagine - link genitore href di img src solo se esiste, altrimenti seleziona img src link

Mi sono imbattuto in un problema XPath un po 'complicato. Considerate questo codice HTML di una parte di una pagina web (io ho usato Imgur e sostituito del testo): <a href="//i.imgur.com/ahreflink.jpg

6calore

1risposta

Raschiare l'HTML da una pagina Web dopo aver eseguito il rendering di JSON/Javascript senza selenio mentre supportavo il POSTing

Sto provando a utilizzare il seguente codice, che funziona bene ma non consente di eseguire prima JavaScript, il che significa che non lo faccio ottieni l'HTML desiderato dalla pagina web. che ho avut

19calore

1risposta

ScrapyRT vs Scrapyd

Abbiamo utilizzato Scrapyd service per un po 'fino ad ora. Fornisce un buon wrapper su un progetto scrapy e i suoi spider che permettono di controllare gli spider tramite un'API HTTP: Scrapyd è un ser

6calore

1risposta

Differenza tra LinkExtractor e SgmlLinkExtractor

Sono nuovo di scrapy framework e ho visto alcuni tutorial utilizzando LinkExtractors e alcuni utilizzando SgmlLinkExtractor. Ho provato a cercare le differenze/i pro-contro per entrambi, ma i risultat

7calore

1risposta

Come analizzare solo una categoria specifica di un sito Web utilizzando la raccolta di giornali?

Io uso Python3 e la libreria newspaper. Si dice che questa libreria possa creare un oggetto Source che è un'astrazione di un sito Web di notizie. Ma cosa succede se ho bisogno solo dell'astrazione di