La cuestión es: La información no se comporta como cualquier otra propiedad cuantificable. Por ejemplo, para describir algo que puede estar en cualquiera de ocho estados, necesitaría tres bits de información. Para describir algo que puede estar en cualquiera de cinco estados,también se necesitan tres bits de información. Esto implica que la cantidad de información necesaria para describir un sistema compuesto no es una función de la cantidad de información necesaria para describir cada componente del sistema.
Respuesta de un físico: La cantidad de información en un sistema compuesto es la suma de las cantidades de información para describir sus componentes (suponiendo que esos componentes son independientes). Sin embargo, la información se describe mediante bits (0 y 1), y da la impresión de que el número de bits es algo que debe ser un número entero. Después de todo, ¿cómo es posible que algo tenga 1.5 bits de información? Como suele suceder, se puede tener un número no entero de bits, pero el razonamiento detrás de cómo es esto exactamente, es un poco más sutil.
En el ejemplo de ocho estados se necesitan exactamente tres bits para especificar un estado. Tres bits son necesarios para especificar cualquiera de los estados, y cualquier estado se puede especificar mediante cualquier combinación de tres bits.
Dos sistemas de ocho estados en conjunto son un sistema de 64 estados que precisa seis bits para ser descrito (6=3+3).
En el ejemplo de cinco estados se necesitan tres bits para especificar el estado, sin embargo el estado no puede especificar cualquier combinación de tres bits. Esto significa que un sistema de cinco estados contiene menos de tres bits y, sin embargo más de dos.
En general, un bit permite distinguir entre dos opciones, dos bits permiten distinguir entre cuatro, tres permiten distinguir entre ocho y N bits permiten distinguir entre 2N posibilidades u opciones. Así que si se tienen M estados y M<N2, entonces N bits serán suficientes para distinguir entre ellos. Por ejemplo, si considero cinco bits para especificar una letra del alfabeto griego, inglés, o árabe (24, 26, y 28 caracteres respectivamente) y seis bits para especificar una letra del alfabeto cirílico (33 caracteres). Tomando el logaritmo en base 2 de ambas partes de la ecuacón se tiene que M<2N, pasa a log2(M)<N. Que significa que el número de bits necesarios para distinguir entre M estados es aproximadamente log2(M).
Dos sistemas juntos de cinco estados son los mismo que un sistema de 25 estados. Sólo se necesitan cinco bits para describir un sistema de 25 Estados (25<32 = 25), en comparación el caso de seis se puede adivinar por el hecho de que son necesarios tres bits para describir individualmente cada uno de los sistemas de cinco estados.
Tenga en cuenta que la teoría de la información inicialmente se separaró de la teoría de la comunicación. Así que al pensar en describir un sistema único, los teóricos de la información piensan en la descripción de varios sistemas, uno tras otro, como letras o números (al igual que lo que está leyendo ahora), y luego en transmitir esa descripción a otra persona. A menudo, se pueden ahorrar unos pocos datos con la descripción de varios estados, al mismo tiempo. En este caso, mediante la descripción de pares de sistemas de cinco estados, en lugar de describir cada sistema uno a uno, se ahorra un bit.
Es más, sistemas de M estados se pueden describir todos a la vez cuanto más cerca se esté de log2(M). Si usted tiene un lote de sistemas de cinco estados y los describe así se encuentra con que se van a necesitar aproximadamente log2(5) = 2.3219 bits (22.3219 ≈ 5) para describir cada sistema, en promedio. Por ejemplo, si usted describe 100 sistemas de cinco estados, está describiendo, 5100 estados del sistema (perdón por no escribir el número completo), y necesitará 233 bits. 2.33 bits por sistema, por cierto, está muy cerca de log2(5).
Respuesta matemático: Aún más fresco, ya que la información se define en términos de un sistema que se describe una y otra vez, es afectada por las probabilidades (una sola instancia de algo realmente no tiene probabilidades). Si el sistema que usted está tratando de describir tiende a aparecer en algunos estados más que otros (como la "e" en inglés), entonces sería bueno que lo describiera con una serie más corta de bits que para los estados más raros (como "q" en inglés). Resulta que (y no es inmediatamente obvio por qué, así que no se estrese) que la información, de un sistema I con estados 1, 2, 3, ..., n, donde se indica la probabilidad de cada estado por p1, p2, p3, ..., pn, es I = p1 log2(p1) - p2 log2(p2)... -pn log2 (pn). Cuando las probabilidades son iguales (p=1/n), entonces esto se reduce a lo que se ha estado hablando hasta ahora: I = log2(n).
Así, por ejemplo, si ve a un 1/2 del tiempo, y B y C 1/4 del tiempo, a continuación, en bits, la cantidad media de información en el sistema es:
Se puede codificar de forma óptima este sistema en bits utilizando " codificación Huffman": A = 0, B = 10, y C = 11. Así, por ejemplo, = 0111101110001010010 = ACCACBAABBAB. La longitud media del código para cada letra es 1*1/2 + 2*1/4 + 2*1/4 =3/2 (longitud de código por probabilidad), que es un poco más corta que log2(3) = 1.585. En la codificación Huffman al estado más frecuente siempre se le asigna "0", lo que es devastadoramente divertido para hacer chistes.
El efecto de las probabilidades en el inglés escrito (son comunes, q siempre va seguida de u, cada palabra tiene una vocal, etc), de acuerdo con un experimento ad-hoc de Shannon, se reduce la información de los esperados 4.7 bits (log2(26)) por letra a sólo 2.3 bits por letra.
Por lo tanto, se puede aumentar la densidad de la información, se ha de acortar el código de las expresiones más comunes. Esto ocurre con mucha naturalidad en el habla cotidiana. Las expresiones con más probabilidad de ser dichas tienden a tener nombres más cortos. Por ejemplo, "los niños de hoy están entusiasmados con internet", "el presidente actual de Estados Unidos de Norteamérica", y "el perro con el que yo vivo, por el que no siento nada, que de vez en cuando responde al nombre de "Profesor Emérito Meowington III.", Son expresiones que casi siempre hacen referencia en gran parte a las formas más compactas, como" la red "," el presidente ", y" el perro ".
Fuente: Ask a Mathematician / Ask a Physicist
Enlaces relacionados:
- Apuntes Introducción a la Informática. La información
- Límites en la compresión de la información
- Apuntes Introduccióna a la Informática. Representación de la información
Respuesta de un físico: La cantidad de información en un sistema compuesto es la suma de las cantidades de información para describir sus componentes (suponiendo que esos componentes son independientes). Sin embargo, la información se describe mediante bits (0 y 1), y da la impresión de que el número de bits es algo que debe ser un número entero. Después de todo, ¿cómo es posible que algo tenga 1.5 bits de información? Como suele suceder, se puede tener un número no entero de bits, pero el razonamiento detrás de cómo es esto exactamente, es un poco más sutil.
En el ejemplo de ocho estados se necesitan exactamente tres bits para especificar un estado. Tres bits son necesarios para especificar cualquiera de los estados, y cualquier estado se puede especificar mediante cualquier combinación de tres bits.
Dos sistemas de ocho estados en conjunto son un sistema de 64 estados que precisa seis bits para ser descrito (6=3+3).
En el ejemplo de cinco estados se necesitan tres bits para especificar el estado, sin embargo el estado no puede especificar cualquier combinación de tres bits. Esto significa que un sistema de cinco estados contiene menos de tres bits y, sin embargo más de dos.
En general, un bit permite distinguir entre dos opciones, dos bits permiten distinguir entre cuatro, tres permiten distinguir entre ocho y N bits permiten distinguir entre 2N posibilidades u opciones. Así que si se tienen M estados y M<N2, entonces N bits serán suficientes para distinguir entre ellos. Por ejemplo, si considero cinco bits para especificar una letra del alfabeto griego, inglés, o árabe (24, 26, y 28 caracteres respectivamente) y seis bits para especificar una letra del alfabeto cirílico (33 caracteres). Tomando el logaritmo en base 2 de ambas partes de la ecuacón se tiene que M<2N, pasa a log2(M)<N. Que significa que el número de bits necesarios para distinguir entre M estados es aproximadamente log2(M).
Dos sistemas juntos de cinco estados son los mismo que un sistema de 25 estados. Sólo se necesitan cinco bits para describir un sistema de 25 Estados (25<32 = 25), en comparación el caso de seis se puede adivinar por el hecho de que son necesarios tres bits para describir individualmente cada uno de los sistemas de cinco estados.
Tenga en cuenta que la teoría de la información inicialmente se separaró de la teoría de la comunicación. Así que al pensar en describir un sistema único, los teóricos de la información piensan en la descripción de varios sistemas, uno tras otro, como letras o números (al igual que lo que está leyendo ahora), y luego en transmitir esa descripción a otra persona. A menudo, se pueden ahorrar unos pocos datos con la descripción de varios estados, al mismo tiempo. En este caso, mediante la descripción de pares de sistemas de cinco estados, en lugar de describir cada sistema uno a uno, se ahorra un bit.
Es más, sistemas de M estados se pueden describir todos a la vez cuanto más cerca se esté de log2(M). Si usted tiene un lote de sistemas de cinco estados y los describe así se encuentra con que se van a necesitar aproximadamente log2(5) = 2.3219 bits (22.3219 ≈ 5) para describir cada sistema, en promedio. Por ejemplo, si usted describe 100 sistemas de cinco estados, está describiendo, 5
Respuesta matemático: Aún más fresco, ya que la información se define en términos de un sistema que se describe una y otra vez, es afectada por las probabilidades (una sola instancia de algo realmente no tiene probabilidades). Si el sistema que usted está tratando de describir tiende a aparecer en algunos estados más que otros (como la "e" en inglés), entonces sería bueno que lo describiera con una serie más corta de bits que para los estados más raros (como "q" en inglés). Resulta que (y no es inmediatamente obvio por qué, así que no se estrese) que la información, de un sistema I con estados 1, 2, 3, ..., n, donde se indica la probabilidad de cada estado por p1, p2, p3, ..., pn, es I = p1 log2(p1) - p2 log2(p2)... -pn log2 (pn). Cuando las probabilidades son iguales (p=1/n), entonces esto se reduce a lo que se ha estado hablando hasta ahora: I = log2(n).
Así, por ejemplo, si ve a un 1/2 del tiempo, y B y C 1/4 del tiempo, a continuación, en bits, la cantidad media de información en el sistema es:
Se puede codificar de forma óptima este sistema en bits utilizando " codificación Huffman": A = 0, B = 10, y C = 11. Así, por ejemplo, = 0111101110001010010 = ACCACBAABBAB. La longitud media del código para cada letra es 1*1/2 + 2*1/4 + 2*1/4 =3/2 (longitud de código por probabilidad), que es un poco más corta que log2(3) = 1.585. En la codificación Huffman al estado más frecuente siempre se le asigna "0", lo que es devastadoramente divertido para hacer chistes.
El efecto de las probabilidades en el inglés escrito (son comunes, q siempre va seguida de u, cada palabra tiene una vocal, etc), de acuerdo con un experimento ad-hoc de Shannon, se reduce la información de los esperados 4.7 bits (log2(26)) por letra a sólo 2.3 bits por letra.
Por lo tanto, se puede aumentar la densidad de la información, se ha de acortar el código de las expresiones más comunes. Esto ocurre con mucha naturalidad en el habla cotidiana. Las expresiones con más probabilidad de ser dichas tienden a tener nombres más cortos. Por ejemplo, "los niños de hoy están entusiasmados con internet", "el presidente actual de Estados Unidos de Norteamérica", y "el perro con el que yo vivo, por el que no siento nada, que de vez en cuando responde al nombre de "Profesor Emérito Meowington III.", Son expresiones que casi siempre hacen referencia en gran parte a las formas más compactas, como" la red "," el presidente ", y" el perro ".
Fuente: Ask a Mathematician / Ask a Physicist
Enlaces relacionados:
- Apuntes Introducción a la Informática. La información
- Límites en la compresión de la información
- Apuntes Introduccióna a la Informática. Representación de la información
