Probabilidad e Información
La información de dos mensajes independientes debe ser la suma de la información de cada mensaje. La probabilidad de recibir los dos mensajes es el producto de la probabilidad de recibir cada uno de los mensajes. La información, como la entropía, debe agregarse cuando se multiplican las probabilidades. Consideraciones como ésta llevaron a Shannon a adoptar la fórmula de entropía de Boltzmann a pesar de que no hay una temperatura absoluta para asociar con los mensajes.
Pensemos en vivir en un lugar con un clima muy predecible. En Costa Rica durante la temporada de lluvias, por ejemplo, las mañanas son luminosas y soleadas, pero hay aguaceros por la tarde, que vuelven a despejarse al caer la noche. La predicción meteorológica día tras día es la misma. La gente no se molesta en escuchar el informe meteorológico, porque casi no contiene información. Si la probabilidad es casi uno, la información es casi cero.
Sabemos que 1 es el resultado de elevar 2 o 10 o e o cualquier otro número a la potencia cero, porque multiplicamos o dividimos por el número cero veces. Es decir, el logaritmo de la probabilidad es 0 cuando la probabilidad es 1.
Los padres en los primeros meses de espera de un nuevo bebé piensan sobre el sexo del niño de manera bastante diferente a como los costarricenses piensan sobre su clima. Las posibilidades son de tener un niño o una niña. "Las posibilidades son iquales", decimos, refiriéndose a posibilidades similares de que una moneda lanzada al aire caiga cara o cruz. Si hay dos resultados igualmente probables, la probabilidad de cada uno es ½. ¿Cuánta información hay en un mensaje como “¡Es una niña!”? El número de bits en un mensaje es igual al número de preguntas de sí o no que responde el mensaje cuando cualquiera de las respuestas es igualmente probable. Si preguntamos, “¿Es una niña?” una respuesta sí o no nos da un bit, que es toda la información.
La información es más fácil de calcular que la entropía porque la constante que multiplica el logaritmo en la fórmula de información es simplemente menos uno (–1). Si llevamos el logaritmo a la base 2 obtendremos la cantidad de información en bits. El logaritmo en base 2 de ½ es menos uno (-1). Es decir, hay que elevar 2 a la primera potencia negativa para obtener ½. Multiplicar la constante (–1) por el logaritmo (–1) da uno positivo (+1). La información en el mensaje es un bit.
Un dígito binario es un cero o un uno. Como solo hay dos posibilidades, podemos obtener el valor de un dígito binario haciendo solo una pregunta. Por lo tanto, el número de bits es el número mínimo de preguntas de sí o no que debemos hacer para obtener esa cantidad de información. Esto hace que el bit sea intuitivamente la unidad ideal para medir información.
La palabra informática "byte" es una variante ortográfica de la palabra común "mordida" (“bite” en inglés). La gente de la informática deletrea "bite" con una "y" para hacerlo más sofisticado, en un vano intento de disfrazar un tonto juego de palabras. Un byte es una serie de bits. Las primeras computadoras tenían sus bits organizados en series de varias longitudes, 5, 6, 7, u 8, pero ahora la mayoría de los fabricantes de computadoras se han decidido por una serie estándar de 8 bits. Ocho preguntas de sí o no determinan 256 posibilidades, ya que 2 elevado a la octava potencia es igual a 256. Para calcular información en bytes, use 256 como base del logaritmo.
Los programadores informáticos dicen que medio byte, 4 bits, es un mordisco, la mitad de una modrida. Por lo tanto, 20 preguntas pueden obtener 5 mordiscos de información. Un mordisco determina 16 posibilidades. "Veinte preguntas" es un juego de salón en el que los jugadores hacen hasta 20 preguntas de sí o no tratando de identificar un elemento que el maestro de pruebas dice que es "animal", "vegetal" o "mineral". Las personas a menudo se sorprenden al descubrir cuántos elementos diferentes puede identificar un interrogador hábil con 20 bits de información. El número 2 elevado a 20 indica 1.048.576 posibilidades igualmente probables.
Es difícil encontrar una calculadora o una tabla de logaritmos que dé logaritmos en base 2 o base 256. Sin embargo, podemos usar cualquier calculadora o tabla de logaritmos que encontremos, porque hay una fórmula simple para convertir de una base arbitraria a una base deseada. Simplemente tomamos el logaritmo de la probabilidad en cualquier base disponible. Además, tomamos el logaritmo de la base deseada en la base disponible. Finalmente, dividimos el primer logaritmo por el segundo.
La información de dos mensajes independientes debe ser la suma de la información de cada mensaje. La probabilidad de recibir los dos mensajes es el producto de la probabilidad de recibir cada uno de los mensajes. La información, como la entropía, debe agregarse cuando se multiplican las probabilidades. Consideraciones como ésta llevaron a Shannon a adoptar la fórmula de entropía de Boltzmann a pesar de que no hay una temperatura absoluta para asociar con los mensajes.
Pensemos en vivir en un lugar con un clima muy predecible. En Costa Rica durante la temporada de lluvias, por ejemplo, las mañanas son luminosas y soleadas, pero hay aguaceros por la tarde, que vuelven a despejarse al caer la noche. La predicción meteorológica día tras día es la misma. La gente no se molesta en escuchar el informe meteorológico, porque casi no contiene información. Si la probabilidad es casi uno, la información es casi cero.
Sabemos que 1 es el resultado de elevar 2 o 10 o e o cualquier otro número a la potencia cero, porque multiplicamos o dividimos por el número cero veces. Es decir, el logaritmo de la probabilidad es 0 cuando la probabilidad es 1.
Los padres en los primeros meses de espera de un nuevo bebé piensan sobre el sexo del niño de manera bastante diferente a como los costarricenses piensan sobre su clima. Las posibilidades son de tener un niño o una niña. "Las posibilidades son iquales", decimos, refiriéndose a posibilidades similares de que una moneda lanzada al aire caiga cara o cruz. Si hay dos resultados igualmente probables, la probabilidad de cada uno es ½. ¿Cuánta información hay en un mensaje como “¡Es una niña!”? El número de bits en un mensaje es igual al número de preguntas de sí o no que responde el mensaje cuando cualquiera de las respuestas es igualmente probable. Si preguntamos, “¿Es una niña?” una respuesta sí o no nos da un bit, que es toda la información.
La información es más fácil de calcular que la entropía porque la constante que multiplica el logaritmo en la fórmula de información es simplemente menos uno (–1). Si llevamos el logaritmo a la base 2 obtendremos la cantidad de información en bits. El logaritmo en base 2 de ½ es menos uno (-1). Es decir, hay que elevar 2 a la primera potencia negativa para obtener ½. Multiplicar la constante (–1) por el logaritmo (–1) da uno positivo (+1). La información en el mensaje es un bit.
Un dígito binario es un cero o un uno. Como solo hay dos posibilidades, podemos obtener el valor de un dígito binario haciendo solo una pregunta. Por lo tanto, el número de bits es el número mínimo de preguntas de sí o no que debemos hacer para obtener esa cantidad de información. Esto hace que el bit sea intuitivamente la unidad ideal para medir información.
La palabra informática "byte" es una variante ortográfica de la palabra común "mordida" (“bite” en inglés). La gente de la informática deletrea "bite" con una "y" para hacerlo más sofisticado, en un vano intento de disfrazar un tonto juego de palabras. Un byte es una serie de bits. Las primeras computadoras tenían sus bits organizados en series de varias longitudes, 5, 6, 7, u 8, pero ahora la mayoría de los fabricantes de computadoras se han decidido por una serie estándar de 8 bits. Ocho preguntas de sí o no determinan 256 posibilidades, ya que 2 elevado a la octava potencia es igual a 256. Para calcular información en bytes, use 256 como base del logaritmo.
Los programadores informáticos dicen que medio byte, 4 bits, es un mordisco, la mitad de una modrida. Por lo tanto, 20 preguntas pueden obtener 5 mordiscos de información. Un mordisco determina 16 posibilidades. "Veinte preguntas" es un juego de salón en el que los jugadores hacen hasta 20 preguntas de sí o no tratando de identificar un elemento que el maestro de pruebas dice que es "animal", "vegetal" o "mineral". Las personas a menudo se sorprenden al descubrir cuántos elementos diferentes puede identificar un interrogador hábil con 20 bits de información. El número 2 elevado a 20 indica 1.048.576 posibilidades igualmente probables.
Es difícil encontrar una calculadora o una tabla de logaritmos que dé logaritmos en base 2 o base 256. Sin embargo, podemos usar cualquier calculadora o tabla de logaritmos que encontremos, porque hay una fórmula simple para convertir de una base arbitraria a una base deseada. Simplemente tomamos el logaritmo de la probabilidad en cualquier base disponible. Además, tomamos el logaritmo de la base deseada en la base disponible. Finalmente, dividimos el primer logaritmo por el segundo.