Impaginazione utilizzando Scrapy

Question

Sto cercando di strisciare questo sito: http://www.aido.com/eshop/cl_2-c_189-p_185/stationery/pens.html

posso ottenere tutti i prodotti di questa pagina, ma come faccio a rilasciare la richiesta di "View More" link in fondo alla pagina ?

Il mio codice fino ad ora è:

rules = (
    Rule(SgmlLinkExtractor(restrict_xpaths='//li[@class="normalLeft"]/div/a',unique=True)), 
    Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="topParentChilds"]/div/div[@class="clm2"]/a',unique=True)), 
    Rule(SgmlLinkExtractor(restrict_xpaths='//p[@class="proHead"]/a',unique=True)), 
    Rule(SgmlLinkExtractor(allow=('http://[^/]+/[^/]+/[^/]+/[^/]+$',), deny=('/about-us/about-us/contact-us', './music.html', ) ,unique=True),callback='parse_item'), 
) 

Qualsiasi aiuto?

Answer 1

Prima di tutto, si dovrebbe dare un'occhiata a questa discussione su come trattare con raschiando ajax contenuto caricato in modo dinamico: Can scrapy be used to scrape dynamic content from websites that are using AJAX?

Quindi, cliccando su "Visualizza più" pulsante incendi fino una richiesta XHR:

http://www.aido.com/eshop/faces/tiles/category.jsp?q=&categoryID=189&catalogueID=2&parentCategoryID=185&viewType=grid&bnm=&atmSize=&format=&gender=&ageRange=&actor=&director=&author=&region=&compProductType=&compOperatingSystem=&compScreenSize=&compCpuSpeed=&compRam=&compGraphicProcessor=&compDedicatedGraphicMemory=&mobProductType=&mobOperatingSystem=&mobCameraMegapixels=&mobScreenSize=&mobProcessor=&mobRam=&mobInternalStorage=&elecProductType=&elecFeature=&elecPlaybackFormat=&elecOutput=&elecPlatform=&elecMegaPixels=&elecOpticalZoom=&elecCapacity=&elecDisplaySize=&narrowage=&color=&prc=&k1=&k2=&k3=&k4=&k5=&k6=&k7=&k8=&k9=&k10=&k11=&k12=&startPrize=&endPrize=&newArrival=&entityType=&entityId=&brandId=&brandCmsFlag=&boutiqueID=&nmt=&disc=&rat=&cts=empty&isBoutiqueSoldOut=undefined&sort=12&isAjax=true&hstart=24&targetDIV=searchResultDisplay 

che restituisce text/html dei prossimi 24 articoli. Nota questo parametro hstart=24: la prima volta che fai clic su "Visualizza altro" è uguale a 24, la seconda volta - 48 ecc .. questo dovrebbe essere il tuo salvagente.

Ora, dovresti simulare queste richieste nel tuo spider. Il modo consigliato per farlo è quello di istanziare l'oggetto Request di scrapy che fornisce il callback in cui estrarre i dati.

Spero che questo aiuti.