Multiplicar la probabilidad y sumar la entropía
El sumar en lugar de multiplicar es la parte fácil, pero hay un trabajo duro para prepararse y un trabajo más duro para interpretar el resultado. Necesitamos introducir la noción de una función que dice qué tan grande es un número. Empecemos considerando los números ¼, ½, 1, 2, 4, 8, 16, 32 y 64. Reconociendo que todos esos números son lo que los matemáticos llaman "potencias de dos", podemos escribirlos como 2-2, 2-1, 20, 21, 22, 23, 24, 25, and 26. El número en superíndice es la potencia o exponente. Todos son potencias de dos porque todos son superíndices del número 2.
Ya hemos notado que 2 x 2 x 2 x 2 = 16 = 24. De manera similar podemos entender la potencia o exponente como indicando el número de 2 que debemos multiplicar para obtener 22, 23, 24, 25 y 26.
¿Cómo debemos entender el 21? No hay multiplicación en este caso, pero necesitamos un 2 para obtener 21. La primera entrada en la lista, 2-2, tiene un exponente negativo. Dado que los exponentes positivos se refieren a un proceso de multiplicación de factores de 2, los exponentes negativos se refieren a un proceso de división por factores de 2. Esto tiene cierta lógica porque los números negativos “deshacen” los números positivos y la división “deshace” la multiplicación.
Sin embargo, la división introduce una cierta complicación. Debemos especificar qué es lo que los factores de 2 están dividiendo. La opción más simple es el número 1. El número ½ es 1 dividido por 2, y el número ¼ es 1 dividido por dos factores de 2. Así, obtenemos ¼ = 2-2 y ½ = 2-1.
Finalmente, ¿cómo interpretamos 20? Es 1 dividido por ningún 2, ni multiplicado por ningún 2. Esto da 20 = 1.
En resumen, ¼ = 2-2, ½ = 2-1, 1 = 20, 2 = 21, 4 = 22, 8 = 23, 16 = 24, 32 = 25 y 64 = 26. Observe que a medida que aumenta el número en tamaño rápidamente, la potencia de 2 o exponente aumenta en pasos constantes de 1 cada vez. Una potencia de 2 mide qué tan grande es un número. Un poco más adelante explicaremos el nombre que los matemáticos le dan a este calibre.
Los órdenes de magnitud son lo mismo que las potencias de diez. En el párrafo anterior sobre potencias de 2, podríamos haber hablado de multiplicar o dividir por diez en lugar de hablar de desplazarnos hacia la derecha o hacia la izquierda. Desplazar es lo mismo que multiplicar o dividir por 10 porque los números arábigos (el sistema que usamos comúnmente para los números) se basan en diez, probablemente porque la mayoría de las personas tienen diez dedos.
¿Qué pasa si queremos saber cuánto mide un número cuando el número es 3 o 7 o cualquier otro número que no sea ni potencia de 2 ni 1 multiplicado o dividido por 10 varias veces? La potencia de 2 más cercana o el orden de magnitud todavía indica aproximadamente qué tan grande es el número, pero los matemáticos desean precisión, no estimaciones aproximadas. Hay una función, llamada logaritmo, que se aplica a todos los números positivos. Un logaritmo es una curva continua que se llena entre los pasos en las potencias de dos o el orden de magnitud. Logaritmo se abrevia como log y, a menudo, lleva un subíndice para distinguir cómo se usa. Si estamos hablando de potencias de 2, la función es log2, léase "logaritmo en base 2". Para órdenes de magnitud, la función es log10, léase "logaritmo en base 10".
Antes de usar la suma en lugar de la multiplicación para obtener el producto de dos números, se debe encontrar el logaritmo de cada uno de los números. Para encontrar el producto elevamos la base a la potencia igual a la suma de los dos logaritmos.
Los logaritmos aparecen en fórmulas que relacionan información o entropía con probabilidad. La información, según la fórmula de Shannon, es menos 1 multiplicado por el logaritmo en base 2 (log2) de la probabilidad del mensaje que lleva la información. La entropía, según la fórmula de Boltzmann, es la constante de Boltzmann multiplicada por el logaritmo natural de la probabilidad de un determinado estado de movimiento de las partículas o el número de posibles arreglos erróneos de las cosas. Los logaritmos naturales (loge o, a veces, ln) son aquellos que usan como base el número especial e = 2,7.18.28.18.28.45.90.45.23536.02874.71352.66.… Los puntos después del número significan que hay una cadena interminable de dígitos adicionales después, por lo que e nunca se puede expresar exactamente en notación decimal. Explicar por qué los matemáticos piensan que este número es "natural" está más allá del alcance de este sitio web.
Por ejemplo, en el cilindro de una máquina de vapor, lo más probable es que las moléculas de agua reboten en todas direcciones. La probabilidad de este estado es ligeramente menor que uno. El logaritmo de uno es cero. Por lo tanto, la entropía del estado habitual está justo por debajo de cero. Si es casi cero, ¿por qué decimos que el vapor está en un estado de alta entropía? Normalmente no pensamos en un número cercano a cero como un número alto. La respuesta es porque la entropía de cualquier estado más organizado es mucho menor que cero. Por ejemplo, si todas las moléculas se movieran en líneas rectas paralelas perpendiculares a la cara del pistón, podrían transmitir toda la energía de su movimiento al pistón, y la máquina de vapor sería 100 por ciento eficiente, como dijimos antes. La probabilidad de encontrar todas las moléculas moviéndose de esa manera es justo por encima de cero. El logaritmo de un número positivo cercano a cero es negativo y de gran magnitud, como menos mil o menos un millón o menos millones de millones de millones. Esto hace que la entropía para el estado de movimiento normal y desordenado sea mucho mayor que la entropía para el estado de movimiento rectilíneo inusual y altamente ordenado idealizado anteriormente.
Ahora damos la bienvenida de nuevo a aquellos lectores que nos abandonaron cuando mencionamos los logaritmos. La mayoría de la gente se las arregla bien con una comprensión intuitiva del orden y el desorden. Los ingenieros necesitan matemáticas avanzadas para calcular con precisión cuánto desorden hay. Lo más importante que hay que recordar es que la entropía aumenta con el desorden, y el desorden es mucho más habitual que el orden. Con eso podemos entender la conexión entre orden e información