Importa dati da URL

Question

lo St. Louis Federal Reserve Bank ha un grande insieme di dati disponibili su una varietà delle proprie pagine web, come ad esempio:

http://research.stlouisfed.org/fred2/series/OILPRICE/downloaddata?cid=32217 http://www.federalreserve.gov/releases/h10/summary/default.htm http://research.stlouisfed.org/fred2/series/DGS20

I set di dati vengono aggiornati , alcuni tutti i giorni. Tendo ad avere un interesse per i dati giornalieri (vedi le impostazioni precedenti sugli URL)

Vorrei importare questi tipi di flussi di dati di prezzo o tasso (accessibili come file CSV o Excel negli URL di cui sopra) direttamente in Mathematica.

Ho esaminato la documentazione di Importazione [] ma trovo scarsa documentazione (in realtà nessuna) su come procedere su qualcosa di simile.

Sembra che sia necessario navigare verso le pagine, inviare alcuni dati per selezionare file e formati specifici, attivare il download, quindi accedere ai dati scaricati dalla mia macchina. Ancora meglio se potessi accedere ai dati direttamente dai siti.

Speravo che Wolfram Alpha potesse rendere questa cosa facile, ma non ho avuto alcun successo.

FinancialData[] sembrerebbe naturale per questo genere di cose, ma non vedo comunque di farlo. I dati finanziari hanno molte funzionalità, ma non vedo come si possa ottenere questo genere di cose.

Qualcuno ha qualche esperienza con questo o qualcuno può indicarmi la giusta direzione?

Answer 1

È possibile Import direttamente da un URL. Ad esempio, i dati di federalreserve.gov possono essere ottenuti e visualizzati come segue.

url = "http://www.federalreserve.gov/datadownload/Output.aspx?"; 
url = url<>"rel=H10&series=a660e724c705cea4b7bd1d1b85789862&lastObs=&"; 
url = url<>"from=&to=&filetype=csv&label=include&layout=seriescolumn"; 
data = Import[url, "CSV"]; 
DateListPlot[data[[7 ;;]], Joined -> True] 

ho rotto url per comodità, dal momento che è così a lungo. Ho dovuto esaminare il contenuto di data prima di sapere esattamente come tracciarlo - un passaggio che è in genere necessario. Sono sicuro che i dati di stlouisfed.org possono essere ottenuti in modo simile, ma richiede l'uso di un'API con la chiave per accedervi.

Answer 2

Come ha affermato Mark, è possibile ottenere i dati direttamente da un URL. I Suoi dati di petrolio possono essere importati da un URL diverso da quello che aveva:

http://research.stlouisfed.org/fred2/data/OILPRICE.txt

Con questo URL, si può fare questo:

oil = Import["http://research.stlouisfed.org/fred2/data/OILPRICE.txt", 
"Table", "HeaderLines" -> 12, "DateStringFormat" -> {"Year", "Month", "Day"}]; 
DateListPlot[oil, Joined -> True, PlotRange -> All] 

Nota che "HeaderLines" -> 12 opzione si spoglia il testo dell'intestazione nelle prime 12 righe (devi contare le linee dell'intestazione per sapere quanti ne vuoi rimuovere). Ho anche specificato il formato della data.

Per trovare quell'URL, fai come hai fatto prima, ma fai clic su una serie di dati e poi scegli Visualizza dati dal menu a sinistra quando vedi il grafico.

Answer 3

La documentazione è un breve esempio su l'estrazione di dati da una pagina web:

http://reference.wolfram.com/mathematica/howto/CleanUpDataImportedFromAWebsite.html

Naturalmente, ciò che deve in realtà essere fatto variano in modo significativo da una pagina all'altra.

Answer 4

discussione su come fare questo con la tua chiave API qui:

http://library.wolfram.com/infocenter/MathSource/7583/

la funzione si basa sulla documentazione API. Non ho guardato il codice per un paio d'anni e dalla memoria l'ho messo insieme piuttosto velocemente, ma l'ho usato regolarmente per oltre 2 anni senza problemi. Ecco un esempio per le vendite al dettaglio mensili non destagionalizzati da inizio 1992 ad oggi:

Wolfram Alpha utilizza anche i dati FRED così si potrebbe utilizzare che come alternativa alla importazione diretta ma è più difficile da ottenere la domanda giusta. Preferisco usare direttamente FRED. Anche dalla memoria i dati sono disponibili solo in alpha il giorno successivo alla pubblicazione, che non è quello che vorresti in genere.