Strumenti open source per data mining

Question

Devo occuparmi di un progetto che riguarda il data mining. Prima di saltare, volevo sondare diversi strumenti di data mining (preferibilmente open source) che consentissero il reporting basato sul web. Nel mio scenario i dati sarebbero forniti a me, quindi non dovrei strisciare per questo.

In breve, sto cercando uno strumento che - Analisi dei dati, Reporting basato sul Web, offra una sorta di dashboard e funzionalità di mining.

Ho lavorato su Microsoft Analysis Services e BOXI e in ritardo ho guardato Pentaho, che sembra essere una buona opzione.

Si prega di condividere le tue esperienze su qualsiasi strumento del genere che tu sappia.

applausi

Answer 1

credo WEKA è il miglior software DM open source là fuori.

Controllarlo: http://www.cs.waikato.ac.nz/ml/weka/

Answer 2

Io sono un pitone-er me stesso e devo dire:

Sì! Tutto ciò può essere fatto in Python.

Ho suonato per l'ultima volta con Beautiful Soup [0]. È un modulo molto semplice da usare che ti permette di catturare/estrarre dati da html e xml (eccellente per 'screen scraping').

Se non conosci Python, .... beh, è ​​davvero facile da imparare.

[0] http://www.crummy.com/software/BeautifulSoup/

Answer 3

Weka è grande, ma si potrebbe desiderare di provare il kit di strumenti di data mining arancione invece.

http://www.ailab.si/orange/

Edit: E come di novembre 2010, devo dire che mi piace molto KNIME.

Answer 4

R ha un sacco di ottimi pacchetti relativi al data mining. In particolare, guarda:

• The machine learning view on CRAN.
• The natural language processing view on CRAN.

Si lega anche in Weka (see the RWeka package). E può essere integrato con .Net (tramite COM) o Python (tramite RPy o RPy2).

Sono d'accordo per quanto riguarda Pentaho per una piattaforma di reporting, anche se è un progetto molto grande a seconda di cosa lo stai usando.

Answer 5

Pentaho è una soluzione molto professionale. Sicuramente un'ottima scelta.

Answer 6

È possibile guardare Data Mining SDK e il suo blog.

Answer 7

Un elenco di alcuni strumenti di data mining open source sono elencati qui: http://dataminingtools.net/browse.php

Answer 8

si può dare un'occhiata a strumento di data mining, weka

Ecco un link ad una raccolta di tutorial e video su WEKA Tutorial: http://www.dataminingtools.net/browsetutorials.php?tag=weka

Video: http://www.dataminingtools.net/videos.php?id=6

Answer 9

si dovrebbe anche controllare out Apache Mahout. Può essere abbastanza utile per alcune attività di machine learning su larga scala come il clustering degli utenti.

Answer 10

Eclipse BIRT http://www.eclipse.org/birt/phoenix/project/description.php

Answer 11

Dai un'occhiata alla lista di software Open Source di per l'apprendimento automatico gestito da JMLR. si può trovare qui:

http://mloss.org/software/

http://jmlr.csail.mit.edu/mloss/

Rappresentano Statale d'Arte!

Il mio problema con Weka è che un numero di algoritmi in esso non sono aggiornati.

Answer 12

Credo che lo KNIME meriti di aderire anche a questo elenco.

Answer 13

credo che RapidMiner sia uno strumento eccellente che dovrebbe essere aggiunto a questo elenco.

Answer 14

Proverei con i nuovi strumenti di Google.

-prima è necessario ottenere l'ID API per google-storage, che è dove si intende memorizzare e manipolare i dati che si desidera analizzare.

-Questo è necessario ottenere l'ID API per google-prediction-api (http://code.google.com/apis/predict/docs/getting-started.html), che per quello che ho visto è un fantastico processore di data mining in outsourcing. L'API Prediction ti consente di ottenere di più dai tuoi dati e rende i suoi modelli più accessibili. Oltre all'utilizzo di dati numerici e nominali tradizionali è possibile utilizzare anche dati di testo che grazie a questa API possono essere utilizzati per esempio per classificare le e-mail in base alla lingua.

-Infine è possibile utilizzare BigQuery che vi permetterà di eseguire analisi ad-hoc, reporting standardizzato, dati di esplorazione App prototipazione (http://code.google.com/apis/bigquery/)

Answer 15

Insieme con gli strumenti, vorrei suggerire fortemente l'apprendimento di Python e R. Questi linguaggi aiutano molto durante l'analisi. Inoltre, i set di dati di grandi dimensioni possono essere "analizzati su misura". Si potrebbe anche creare il proprio cruscotto personalizzato utilizzando Javascript (check out la numerous charting and visualization libraries)

Answer 16

RapidMiner è il mio strumento di data mining preferito.

Answer 17

Weka è forte per la classificazione e/apprendimento automatico /. Per molti, questo è considerato più una parte dell'intelligenza artificiale che dell'effettiva estrazione di dati. RapidMiner è in gran parte sulla stessa linea, ma con un'interfaccia utente molto più bella. Pentaho è il supporto professionale per Weka AFAICT.

Si potrebbe voler dare un'occhiata a ELKI, http://elki.dbs.ifi.lmu.de/ che è un progetto analogo che si concentra su algoritmi di clustering e rilevazioni di valori anomali, altre due attività chiave di data mining.

Answer 18

KEEL (http://keel.es) è scritto in Java ed è adatto per l'utilizzo del calcolo evolutivo per il data mining.

Answer 19

WEKA (già citato), Orange (http://orange.biolab.si/), Tanagra (http://data-mining-tutorials.blogspot.com) è possibile trovare buoni tutorial lì.

Sono ottimi strumenti per il data mining.

Answer 20

È possibile controllare il mio software, lo SPMF data mining framework.

È un software Java open-source che offre più di 70 algoritmi per:

• frequente mineraria itemset,
• associazione regola mineraria,
• modello sequenziale mineraria
• regola sequenziale mineraria.
• e più ..