multiplicar-probabilidad-y-sumar-entropía

Multiplicar la probabilidad y sumar la entropía

El sumar en lugar de multiplicar es la parte fácil, pero hay un trabajo duro para prepararse y un trabajo más duro para interpretar el resultado. Necesitamos introducir la noción de una función que dice qué tan grande es un número. Empecemos considerando los números ¼, ½, 1, 2, 4, 8, 16, 32 y 64. Reconociendo que todos esos números son lo que los matemáticos llaman "potencias de dos", podemos escribirlos como 2^-2, 2^-1, 2⁰, 2¹, 2², 2³, 2⁴, 2⁵, and 2⁶. El número en superíndice es la potencia o exponente. Todos son potencias de dos porque todos son superíndices del número 2.

Ya hemos notado que 2 x 2 x 2 x 2 = 16 = 2⁴. De manera similar podemos entender la potencia o exponente como indicando el número de 2 que debemos multiplicar para obtener 2², 2³, 2⁴, 2⁵ y 2⁶.

¿Cómo debemos entender el 2¹? No hay multiplicación en este caso, pero necesitamos un 2 para obtener 2¹. La primera entrada en la lista, 2^-2, tiene un exponente negativo. Dado que los exponentes positivos se refieren a un proceso de multiplicación de factores de 2, los exponentes negativos se refieren a un proceso de división por factores de 2. Esto tiene cierta lógica porque los números negativos “deshacen” los números positivos y la división “deshace” la multiplicación.

Sin embargo, la división introduce una cierta complicación. Debemos especificar qué es lo que los factores de 2 están dividiendo. La opción más simple es el número 1. El número ½ es 1 dividido por 2, y el número ¼ es 1 dividido por dos factores de 2. Así, obtenemos ¼ = 2^-2 y ½ = 2^-1.

Finalmente, ¿cómo interpretamos 2⁰? Es 1 dividido por ningún 2, ni multiplicado por ningún 2. Esto da 2⁰ = 1.

En resumen, ¼ = 2^-2, ½ = 2^-1, 1 = 2⁰, 2 = 2¹, 4 = 2², 8 = 2³, 16 = 2⁴, 32 = 2⁵ y 64 = 2⁶. Observe que a medida que aumenta el número en tamaño rápidamente, la potencia de 2 o exponente aumenta en pasos constantes de 1 cada vez. Una potencia de 2 mide qué tan grande es un número. Un poco más adelante explicaremos el nombre que los matemáticos le dan a este calibre.

Existe un concepto similar llamado "orden de magnitud" para una serie de números como 0,01, 0,1, 1,0, 10,0, 100,0 y 1000,0. El orden de magnitud indica qué tan grandes son. Para los seis números de la serie, los respectivos órdenes de magnitud son –2, –1, 0, 1, 2 y 3. ¿Cómo calculamos? En los seis números anteriores solo hay una cifra significativa, y es 1 en todos los casos. Escribimos el decimal en su lugar apropiado para todos los números, y enfatizamos el decimal poniendo un cero a la izquierda o a la derecha, aunque generalmente no escribimos el decimal para números como 1, 10, 100 y 1000. El orden de magnitud es el número de veces que debemos cambiar de una posición justo a la derecha de la primera cifra significativa para llegar al decimal. Cuando nos desplazamos hacia la derecha, como lo hacemos con los números 10,0, 100,0 y 1000,0, el orden de magnitud es positivo. Pero si debemos desplazarnos hacia la izquierda, como lo hacemos para 0,01 y 0,1, el orden de magnitud es negativo. El orden de magnitud de 1.0 es cero ya que no se requieren cambios.

Los órdenes de magnitud son lo mismo que las potencias de diez. En el párrafo anterior sobre potencias de 2, podríamos haber hablado de multiplicar o dividir por diez en lugar de hablar de desplazarnos hacia la derecha o hacia la izquierda. Desplazar es lo mismo que multiplicar o dividir por 10 porque los números arábigos (el sistema que usamos comúnmente para los números) se basan en diez, probablemente porque la mayoría de las personas tienen diez dedos.

¿Qué pasa si queremos saber cuánto mide un número cuando el número es 3 o 7 o cualquier otro número que no sea ni potencia de 2 ni 1 multiplicado o dividido por 10 varias veces? La potencia de 2 más cercana o el orden de magnitud todavía indica aproximadamente qué tan grande es el número, pero los matemáticos desean precisión, no estimaciones aproximadas. Hay una función, llamada logaritmo, que se aplica a todos los números positivos. Un logaritmo es una curva continua que se llena entre los pasos en las potencias de dos o el orden de magnitud. Logaritmo se abrevia como log y, a menudo, lleva un subíndice para distinguir cómo se usa. Si estamos hablando de potencias de 2, la función es log₂, léase "logaritmo en base 2". Para órdenes de magnitud, la función es log₁₀, léase "logaritmo en base 10".

Podemos ver que la potencia de 2, el orden de magnitud y la función logarítmica crecen muy lentamente a medida que los números crecen rápidamente. Sin embargo, todos alcanzan el infinito cuando el número llega al infinito. A medida que el número se acerca cada vez más a cero, la potencia de 2, el orden de magnitud y el logaritmo se aproximan al infinito negativo.

Antes de usar la suma en lugar de la multiplicación para obtener el producto de dos números, se debe encontrar el logaritmo de cada uno de los números. Para encontrar el producto elevamos la base a la potencia igual a la suma de los dos logaritmos.

Los logaritmos aparecen en fórmulas que relacionan información o entropía con probabilidad. La información, según la fórmula de Shannon, es menos 1 multiplicado por el logaritmo en base 2 (log₂) de la probabilidad del mensaje que lleva la información. La entropía, según la fórmula de Boltzmann, es la constante de Boltzmann multiplicada por el logaritmo natural de la probabilidad de un determinado estado de movimiento de las partículas o el número de posibles arreglos erróneos de las cosas. Los logaritmos naturales (log_e o, a veces, ln) son aquellos que usan como base el número especial e = 2,7.18.28.18.28.45.90.45.23536.02874.71352.66.… Los puntos después del número significan que hay una cadena interminable de dígitos adicionales después, por lo que e nunca se puede expresar exactamente en notación decimal. Explicar por qué los matemáticos piensan que este número es "natural" está más allá del alcance de este sitio web.

Cuando usamos la fórmula de Boltzmann para encontrar la entropía a partir de la probabilidad, la entropía sale en vatios-segundo por kelvin.

Por ejemplo, en el cilindro de una máquina de vapor, lo más probable es que las moléculas de agua reboten en todas direcciones. La probabilidad de este estado es ligeramente menor que uno. El logaritmo de uno es cero. Por lo tanto, la entropía del estado habitual está justo por debajo de cero. Si es casi cero, ¿por qué decimos que el vapor está en un estado de alta entropía? Normalmente no pensamos en un número cercano a cero como un número alto. La respuesta es porque la entropía de cualquier estado más organizado es mucho menor que cero. Por ejemplo, si todas las moléculas se movieran en líneas rectas paralelas perpendiculares a la cara del pistón, podrían transmitir toda la energía de su movimiento al pistón, y la máquina de vapor sería 100 por ciento eficiente, como dijimos antes. La probabilidad de encontrar todas las moléculas moviéndose de esa manera es justo por encima de cero. El logaritmo de un número positivo cercano a cero es negativo y de gran magnitud, como menos mil o menos un millón o menos millones de millones de millones. Esto hace que la entropía para el estado de movimiento normal y desordenado sea mucho mayor que la entropía para el estado de movimiento rectilíneo inusual y altamente ordenado idealizado anteriormente.

Ahora damos la bienvenida de nuevo a aquellos lectores que nos abandonaron cuando mencionamos los logaritmos. La mayoría de la gente se las arregla bien con una comprensión intuitiva del orden y el desorden. Los ingenieros necesitan matemáticas avanzadas para calcular con precisión cuánto desorden hay. Lo más importante que hay que recordar es que la entropía aumenta con el desorden, y el desorden es mucho más habitual que el orden. Con eso podemos entender la conexión entre orden e información

Probabilidad e información

Inicio