Una buona introduzione alla teoria dell'informazione, per favore?

Question

Conosco Wikipedia e MacKay's Information Theory, Inference, and Learning Algorithms (è appropriato come libro di testo?). Un libro di testo che inizia con l'entropia di Shannon e passa attraverso l'entropia condizionale e le informazioni mutue viene cercato ... Qualche idea? Se segui questo corso presso la tua università, quale libro di testo viene utilizzato?

Grazie.

Answer 1

Ho utilizzato il seguente libro di testo durante i miei studi in CS al EPFL. IMO, è ben scritto, con buone spiegazioni e copre più che sufficiente per un'introduzione al dominio.

Elements of Information Theory

Elements of Information Theory http://ecx.images-amazon.com/images/I/51HVK59X77L.jpg

EDIT: Per ulteriori letture, qui ci sono alcune altre letture che il mio professore ha raccomandato. Non li ho letti (vergognimi), quindi non posso dire se sono buoni o no.

1. RG Gallager, Information Theory and Reliable Communication, Wiley, 1968.
2. D. MacKay, Information Theory, Inference & Learning Algorithms, Cambridge University Press, 2008. (già accennato)
3. I. Csiszar e J. Korner, Information Theory: Coding Theorems for Discrete Memoryless Systems, Akademiai kiado, 1997.
4. C. E. Shannon, The Mathematical Theory of Communication