Entropía e información

La entropía termodinámica "S" aparece como una cantidad relacionada con la cantidad de energía que un sistema termodinámico no puede aprovechar para realizar trabajo útil. Por otro lado, en teoría de la información se define una cantidad "H", también denominada «entropía», la cual mide el grado de impredecibilidad de una variable aleatoria y que solo depende de algo tan abstracto como la cantidad de información que puede codificar dicha variable.

En particular, H no tiene nada que ver con ningún sistema físico ni con ninguna ley física. No obstante, si ambas cantidades reciben el mismo nombre es porque, al recurrir a la formulación estadística de la termodinámica, S y H adoptan la misma expresión formal.

Guillermo nos pasa su trabajo sobre la relación entre la entropía termodinámica y la entropía en la teoría de la información. Nos muestra como pasar de la expresión S=lnW a la expresión "H" de la teoría de la información como suma de los términos p ln p.
"Entropía termodinámica e información"

También hay un artículo de investigación y ciencia sobre el tema. Entre otras cosas, recoge la idea de la correspondencia entre entropía e información de Leo Szilar (amigo de A. Einstein, y físico progresista) de 1929, y no como se ha divulgado, que fuera una idea de Brillouin. La contribución de Brillouin es posterior (1956), y aborda el tema de cuantificar el coste entrópico de la información. El artículo pretende dar la respuesta correcta a por qué el demonio de Maxwell no viola la segunda ley.
"Demonio, motores y la segunda ley" de Charles H. Bennet