Scrapy HtmlXPathSelector

Question

Solo provando a cercare di far funzionare un ragno di base. So che questo è probabilmente qualcosa che mi manca ma ho provato tutto quello che riesco a pensare.

L'errore che ottengo è:

line 11, in JustASpider 
    sites = hxs.select('//title/text()') 
NameError: name 'hxs' is not defined 

Il mio codice è molto semplice in questo momento, ma io ancora non riesco a trovare dove sto andando male. Grazie per qualsiasi aiuto!

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 

class JustASpider(BaseSpider): 
    name = "google.com" 
    start_urls = ["http://www.google.com/search?hl=en&q=search"] 


    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     sites = hxs.select('//title/text()') 
     for site in sites: 
      print site.extract() 


SPIDER = JustASpider() 

Answer 1

Ho rimosso la chiamata di SPIDER alla fine e rimosso il ciclo for. C'era solo un tag title (come ci si aspetterebbe) e sembra che stia buttando fuori dal giro. Il codice che ho a lavorare è la seguente:

from scrapy.spider import BaseSpider 
from scrapy.selector import HtmlXPathSelector 

class JustASpider(BaseSpider): 
    name = "google.com" 
    start_urls = ["http://www.google.com/search?hl=en&q=search"] 


    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     titles = hxs.select('//title/text()') 
     final = titles.extract() 

Answer 2

Assicurati di utilizzare il codice che ci stai mostrando.

Provare a eliminare i file *.pyc nel progetto.

Answer 3

Ho avuto un problema simile, NameError: name 'hxs' is not defined, e il problema relativo agli spazi e le schede: l'IDE utilizza spazi invece di tabulazioni, si dovrebbe check it out.

Answer 4

questo funziona per me:

1. Salvare il file come test.py
2. Utilizzare il comando scrapy runspider <filename.py>

Ad esempio:

scrapy runspider test.py 

Answer 5

codice sembra corretto.

Nelle ultime versioni di Scrapy
HtmlXPathSelector è obsoleto. Usa Selector:

hxs = Selector(response) 
sites = hxs.xpath('//title/text()') 

Answer 6

questa è solo una demo, ma funziona. bisogno di essere personalizzato offcourse. !

/usr/bin/env python

da scrapy.spider importazione BaseSpider da scrapy.selector importazione HtmlXPathSelector

classe DmozSpider (BaseSpider): name = "dmoz" allowed_domains = [" dmoz.org "] = [ start_urls " http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" ]

def parse(self, response): 
    hxs = HtmlXPathSelector(response) 
    sites = hxs.select('//ul/li') 
    for site in sites: 
     title = site.select('a/text()').extract() 
     link = site.select('a/@href').extract() 
     desc = site.select('text()').extract() 
     print title, link, desc 

Answer 7

Si dovrebbe cambiare

from scrapy.selector import HtmlXPathSelector 

in

from scrapy.selector import Selector 

E utilizzare hxs=Selector(response) invece.

Answer 8

Il codice sembra una versione piuttosto vecchia. Mi consiglia di utilizzare questi codici al posto

from scrapy.spider import Spider 
 
from scrapy.selector import Selector 
 

 
class JustASpider(Spider): 
 
    name = "googlespider" 
 
    allowed_domains=["google.com"] 
 
    start_urls = ["http://www.google.com/search?hl=en&q=search"] 
 

 

 
    def parse(self, response): 
 
     sel = Selector(response) 
 
     sites = sel.xpath('//title/text()').extract() 
 
     print sites 
 
     #for site in sites: (I dont know why you want to loop for extracting the text in the title element) 
 
      #print site.extract()

speriamo vi sia utile e here è un buon esempio da seguire.

Answer 9

Uso Scrapy con BeautifulSoup4.0. Per me, Soup è facile da leggere e capire. Questa è un'opzione se non si deve usare HtmlXPathSelector. Spero che questo ti aiuti!

import scrapy 
from bs4 import BeautifulSoup 
import Item 

def parse(self, response): 

    soup = BeautifulSoup(response.body,'html.parser') 
    print 'Current url: %s' % response.url 
    item = Item() 
    for link in soup.find_all('a'): 
     if link.get('href') is not None: 
      url = response.urljoin(link.get('href')) 
      item['url'] = url 
      yield scrapy.Request(url,callback=self.parse) 
      yield item