scrapy

9calore

1risposta

Imposta intestazioni per richiesta di shell scrapy

So che è possibile modificare lo scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'USER_AGENT, ma come si aggiungono le intestazioni delle richieste?

5calore

2risposta

XPath seleziona collegamenti immagine - link genitore href di img src solo se esiste, altrimenti seleziona img src link

Mi sono imbattuto in un problema XPath un po 'complicato. Considerate questo codice HTML di una parte di una pagina web (io ho usato Imgur e sostituito del testo): <a href="//i.imgur.com/ahreflink.jpg

26calore

2risposta

ottenere vietato dalla robots.txt: Scrapy

durante la scansione sito web come https://www.netflix.com, ottenendo proibita da robots.txt: https://www.netflix.com/> ERRORE: nessuna risposta scaricato: https://www.netflix.com/

19calore

1risposta

ScrapyRT vs Scrapyd

Abbiamo utilizzato Scrapyd service per un po 'fino ad ora. Fornisce un buon wrapper su un progetto scrapy e i suoi spider che permettono di controllare gli spider tramite un'API HTTP: Scrapyd è un ser

6calore

1risposta

Differenza tra LinkExtractor e SgmlLinkExtractor

Sono nuovo di scrapy framework e ho visto alcuni tutorial utilizzando LinkExtractors e alcuni utilizzando SgmlLinkExtractor. Ho provato a cercare le differenze/i pro-contro per entrambi, ma i risultat

6calore

2risposta

ImportError: non può importare nome '_win32stdio'

sto lavorando con quadro Scrapy di rottami fuori i dati dal sito web, ma ottenere il seguente errore nel prompt dei comandi: ImportError: cannot import name '_win32stdio' Traceback è attaccato come un

5calore

1risposta

Scrapy ottiene NoneType Errore durante l'utilizzo di Privoxy Proxy per Tor

Sto usando Ubuntu 14.04 LTS. Ho provato Polipo, ma continuava a rifiutare le connessioni di Firefox anche se aggiungevo me stesso come permesso Client e ore di ricerca senza soluzione. Così, invece, h

9calore

3risposta

Python Scrapy: Qual è la differenza tra i comandi "runspider" e "crawl"?

Qualcuno può spiegare la differenza tra runpider e crawl comandi? Quali sono i contesti in cui dovrebbero essere utilizzati?

7calore

1risposta

Utilizzo di Scrapy Itemloader in un loop

Voglio utilizzare Scrapy sul sito Web di Dmoz che usano nei loro tutorial, ma invece di limitarsi a leggere i libri nell'URL dei libri (http://www.dmoz.org/Computers/Programming/Languages/Python/Books

5calore

1risposta

web raschiando una pagina web che ha contenuti dinamici caricati tramite la tecnologia AJAX

dire che mi auguro per raschiare i prodotti su questo page (http://shop.coles.com.au/online/national/bread-bakery/fresh/bread#pageNumber=2¤tPageSize=20) Ma i prodotti viene caricato da una richi