screen-scraping

6calore

4risposta

Suggerimenti per scraping, scraping schermo e data mining?

Sto lavorando a un progetto e ho bisogno di fare un sacco di screen scraping per ottenere molti dati il più velocemente possibile. Mi chiedo se qualcuno sa di buone API o risorse per aiutarmi. Sto u

6calore

4risposta

Alcuni aiutano a scansionare una pagina in Java

Ho bisogno di raschiare una pagina web usando Java e ho letto che la regex è un modo piuttosto inefficiente di farlo e uno dovrebbe metterlo in un documento DOM per spostarlo. Ho provato a leggere la

5calore

2risposta

Aiuto necessario con lo screen scraping usando anemone e nokogiri

Ho una pagina iniziale di http://www.example.com/startpage che ha 1220 elenchi suddivisi per impaginazione nel modo standard, ad es. 20 risultati per pagina. Ho codice di lavoro che analizza la prima

8calore

3risposta

Scrape e converti sito Web in HTML?

Non l'ho fatto in 3 o 4 anni, ma un client desidera eseguire il downgrade del proprio sito Web dinamico in HTML statico. Esistono strumenti gratuiti per eseguire la scansione di un dominio e generare

8calore

4risposta

pesante scraping iTunes Connect

Sto cercando diverse opzioni per ottenere i rapporti sulle vendite e altri dati dal sito web di iTunes Connect. Poiché Apple non fornisce un'API, tutte le soluzioni che ho trovato si basano su come ra

7calore

2risposta

Errore "Il server remoto ha restituito un errore: (403) Proibito" quando si scorre lo schermo utilizzando HttpWebRequest.GetResponse()

Abbiamo uno strumento che controlla se un dato URL è un URL live. Se un dato URL è attivo un'altra parte del nostro software può schermare il contenuto da esso. Questo è il mio codice per verificare s

5calore

3risposta

Come faccio a far funzionare pQuery con HTML leggermente malformato?

pQuery è una porta pragmatica del framework jQuery JavaScript in Perl che può essere utilizzata per lo screen scraping. pQuery molto sensibile a HTML non valido. Si consideri il seguente esempio: use

8calore

2risposta

Qual è l'approccio migliore per l'analisi di XML/'screen scraping' in iOS? UIWebview o NSXMLParser?

Sto creando un'app per iOS che ha bisogno di ottenere alcuni dati da una pagina web. Il mio primo pensiero è stato quello di utilizzare NSXMLParser initWithContentsOfURL: e analizzare l'HTML con il de

6calore

3risposta

Ottenere testo da all'interno di un tag HTML all'interno di un file locale con grep

Eventuali duplicati: RegEx match open tags except XHTML self-contained tags Estratto da file di input <TD class="clsTDLabelWeb" width="28%">Municipality: </TD> <TD style="WIDTH: 394px" class="cl

5calore

1risposta

Come si legge un pixel fuori dallo schermo?

Sto cercando di creare un semplice bot per un gioco web, quindi mi piacerebbe poter leggere il colore di un pixel sullo schermo. L'ho fatto su Windows con GetPixel(), ma non riesco a capirlo su OS X.