Gracias a una interesante conversación twittera con @ramoneeza he decido a escribir una entrada a la que tenía ganas desde hace tiempo. Vamos a ver qué es la información y su relación con la entropía.
El hombre clave aquí es un tal Claude Shannon, que fue quien introdujo el concepto matemático de información.
Claude Shannon
En esta entrada veremos cómo se relaciona la entropía (definición de Boltzmann-Gibbs) con este concepto de información. Lo que ha de quedar claro es que esta información de Shannon no es una característica física de los sistemas sino una medida de «lo sorprendente» que es un suceso.
Sería interesante repasar lo que se ha hablado aquí de entropía. Recomiendo una breve lectura de:
Tan llevada y tan traída, hablemos de entropía
Ahí encontraréis una discusión elemental de qué es la entropía según el punto de vista físico.
Entropía física
Boltzmann
La entropía física fue definida por Boltzmann del siguiente modo:
Supongamos un sistema que está en un estado macroscópico dado. Por estado macroscópico entendemos el estado determinado por medidas que podemos hacer fácilmente sin preocuparnos de la constitución íntima del sistema. En termodinámica un estado macroscópico viene determinado generalmente por su temperatura, su volumen, su presión, su color, etc.
Boltzmann dijo que la entropía no era más que el número de estados microscópicos que son compatibles con un estado macroscópico dado. Es decir, si nuestro sistema está compuesto por partículas, estas pueden tener diferentes energías, diferentes velocidades, diferentes formas de rotar, etc. Si contamos todas las posibles configuraciones de partículas con distintas propiedades como las anteriores que nos dan el estado macroscópico que vemos en el laboratorio, llamamos a ese número 
Así la entropía de Boltzmann se puede escribir como:
El físico estadounidense Gibbs dio un paso más allá y mostró lo siguiente.
1.- Imaginemos que tenemos un conjunto de sistemas todos idénticos. Misma composición y propiedades.
2.- Todos los sistemas de este conjunto están en el mismo estado macroscópico.
3.- Cada uno de ellos individualmente está en un estado microscópico fijo. Es como si tuviéramos una foto de cada sistema en cada estado microscópico y hubiéramos congelado el tiempo.
Ahora la pregunta es: ¿Qué probabilidad tengo de escoger de entre todas las copias del sistema a mi disposición una que esté en el estado microscópico 
Si llamamos 
No voy a demostrar aquí (lo haremos en otra ocasión) que la entropía de Gibbs y la de Boltzmann son de hecho la misma entropía y se puede pasar de una a otra. Así que la entropía simplemente es un número, el número de estados microscópicos compatibles con una situación macroscópica dada.
Lo que está claro es que a mayor probabilidad mayor entropía.
Sorpréndeme
Shannon estaba trabajando con códigos y con transmisión de mensajes. Un campo esencial en nuestros días. Y se planteó cuanta información obteníamos al recibir un símbolo, un sonido, o un bit de cualquier cosa que hayamos codificado.
Lo que encontró y definió es que uno obtiene más información cuanto más te sorprende la recepción de una parte del mensaje. Pongamos un ejemplo:
1- Imaginemos que nos envían este mensaje:
Ma…, me dio una galleta
2.- Ahora esperamos que completen el mensaje. Y claro, casi seguro que todos ha pensado que lo que falta en una «má». Eso es poco sorprendente así que nos daría poca información.
3. Pero hay más posibilidades:
- …nolo (1) 5%
- …rtina (2) 10%
- …ría (3) 5%
- …rtillo (4) 3%
- …lasangre (5) 2%
- …má (6) 75%
Todas estas, según lo sorprendente que sea, nos dará más información o menos.
¿Pero cómo se define la sorpresa matemáticamente? Shannon nos dijo que la sorpresa de una parte de un mensajes vería dada por el logaritmo de la probabilidad de recibirlo. Es decir, de entre las 6 posibilidades anteriores si nos envían «má» pues tenemos poca información porque era poco sorprendente (era muy probable que la mamá te dé la galleta). Ahora si recibes «lasangre» pues te sorprendes muchísimo, era poco probable que Malasangre te diera una galleta (de las de comer).
Así que la sorpresa sería 
Si quiero saber la sorpresa total de un mensaje, es decir, de todas las posibilidades hay que hacer el promedio. Es decir, multiplicar cada probabilidad por la sorpresa que produce y sumarlo todo (aparece un signo menos por cuestiones técnicas). Así se define la entropía de Shannon del mensaje como:
Es importante notar que mayor entropía mayor información obtenemos.
Si sólo tuvieramos una máquina que genera la letra A y nos mandara un mensaje sería AAAAAAA… el próximo input en el mensaje será otra A, la entropía es 0 ya que sorprende poco el mensaje.
Igual pero distinto
Si comparamos ambas expresiones son idénticas salvo por la constante de Boltzmann. Que como ya vimos convierte un número en una cantidad física relacionada con la energía.
Ahora bien, en física se habla muchas veces de información, por ejemplo en el caso de los agujeros negros. Hablaremos de este tipo de información y de los problemas que presenta en contextos como los agujeros negros en próximas entradas.
Nos seguimos leyendo…
Cuentos Cuánticos 
Dude, what are you making in that lab, JWH-80? Are you nuts! You need spaiecl equipment out there, the elevation is disorientating and the storms come with crashing lighting are dangerous. But, I can\’t wait to see those pics! Good luck and have fun……So, at what point do I call in the rescue team?
en logica de conjuntos finitos hay un teorema de shannon sera el mismo personaje?
Una explicación muy acertada.
Yo interpreto a Shannon en forma diferente,es decir, la información que recibe cualquier individuo esta sujeta a, el interes que tenga, el conocimiento previo de la información, a la actitud de recibirla. esto se pede observar en una aula, no todos los alumnos interpretan por igual la misma informacion que el maestro les proporciona
La información de Shannon no involucra significación ni aprovechamiento de la información. Aquí como pasa con otros conceptos tenemos una confusión entre el significado cotidiano y el técnico. Para Shannon simplemente es una medida de lo «sorprendente» que es un mensaje basado en un código dado. No tiene nada que ver con el aprovechamiento o significado del mensaje, es una mera definición matemática.