Non sono sicuro se c'è qualcosa con Mechanize o BeautifulSoup che potrebbe aiutare. Ogni suggerimento sarà molto apprezzato!Come posso analizzare una pagina di scorrimento infinita (ad esempio Wallbase.cc/search/sky) con Python?
Mechanize e Beautiful soup non possono interfacciare con il javascript utilizzato per lo scroll infinito.
Selenio can.
Inoltre se si dovesse per visualizzare le richieste Ajax quando si utilizza il rotolo infinito si vedrebbe una richiesta post per http://wallbase.cc/search/160 con i dati di richiesta:
query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc
160 corrisponde alla gamma di immagini in modo che la richiesta prima che era wallbase.cc/searc/128.
Quindi, se volessi raschiare gli sfondi e scriverli in una cartella, come potrei superare il javascript utilizzato per caricare lo scroll infinito per caricare la pagina successiva degli sfondi? Attualmente posso solo afferrare gli sfondi fino a quando il javascript non è caricato. – Rev3rb