screen-scraping

6calore

3risposta

Compilazione di un modulo utilizzando PyQt e QWebview

Vorrei utilizzare PyQt/QWebview per 1) caricare un URL specifico, 2) immettere informazioni in un modulo, 3) fare clic su pulsanti/collegamenti. Mechanize non funziona perché ho bisogno di un browser

5calore

1risposta

Trova tutte le tabelle in html utilizzando BeautifulSoup

Voglio trovare tutte le tabelle in html utilizzando BeautifulSoup. I tavoli interni dovrebbero essere inclusi nei tavoli esterni. Ho creato un codice che funziona e fornisce l'output previsto. Ma ques

6calore

1risposta

Come eseguire una richiesta POST a livello di codice in python con una GUI? (spynner, webkit ...)

Ho un sito web con flash moduli che ho bisogno di scrapare. Invece di compilare i moduli flash, desidero specificare POST alcune chiavi/valori per l'URL che non supporta le richieste GET. Io uso spynn

6calore

3risposta

Regex: Trovare gli URL in background-image CSS, avendo difficoltà

Ecco il mio codice regex: preg_match_all('/background[-image]*:[\s]*url$["|\']+(.*)["|\']+$/', $css, $matches, PREG_SET_ORDER); Sembra per i CSS che assomiglia a questo: background:url('../blah.jp

6calore

2risposta

Ottieni solo una parte rilevante del sito web

In che modo Evernote's Web Clipper plugin o Announcify plugin viene visualizzato solo l'articolo pertinente/post/parte del contenuto della pagina? Ecco uno screenshot dal plugin di Evernote: Non impor

5calore

1risposta

Accesso a un sito Web utilizzando Mechanize e Nokogiri?

Ho difficoltà con uno dei moduli di accesso dei nostri fornitori di servizi. Gli altri siti funzionano bene, ma per qualche motivo non riesco a superare il modulo di accesso. Il login sito per è come

8calore

1risposta

Ottenere file HTML statici da Wikipedia Scarico XML

Vorrei poter ottenere file HTML statici relativamente aggiornati dall'enorme (anche se compresso) file di scarico XML di Wikipedia in inglese enwiki-latest-pages-articles.xml.bz2 scaricato dallo WikiM

8calore

2risposta

Scraping dei dati generati da javascript usando Python

Voglio analizzare alcuni dati del seguente url usando Python. http://www.hankyung.com/stockplus/main.php?module=stock&mode=stock_analysis_infomation&itemcode=078340 Si tratta di un riepilogo delle inf

9calore

2risposta

Esegui più ragni scrapy in una sola volta usando scrapyd

Sto usando scrapy per un progetto in cui voglio raschiare un numero di siti - forse centinaia - e devo scrivere uno spider specifico per ogni sito. Posso programmare uno ragno in un progetto distribui

30calore

2risposta

Eseguendo Javascript da Python

Ho pagine Web HTML che sto analizzando utilizzando xpath. Il etree.tostring di un certo nodo mi da questa stringa: <script> <!-- function escramble_758(){ var a,b,c a='+1 ' b='84-'