Teoria matemática da comunicação

RKA12 Shannon acaba de terminar suas teorias sobre criptografia, e, portanto, sabe como a comunicação humana é uma mistura de aleatoriedade e dependências estatísticas. As letras de nossas mensagens eram obviamente dependentes das letras anteriores para formar sequências. Em 1949, ele publicou um artigo revolucionário, uma teoria matemática da comunicação, no qual ela usa a cadeia de Markov para mostrar como podemos representar a comunicação. E ele começa com um exemplo bem simples. Imagine encontrar um pedaço de texto escrito em um alfabeto que contém apenas A, B e C. Você não sabe nada sobre essa nova língua, mas notou que os "A" costumam vir em pares, o que não acontece com os B e C. Então, ele mostra que é possível projetar uma máquina que cria textos semelhantes usando a cadeia de Markov. A primeira versão é bem simples. Seleciona um símbolo A, B e C por vez de forma aleatória para formar a sequência. No entanto, observe que a sequência não se parece com a original. É possível fazer um pouco melhor na segunda versão da máquina, que escolhe um símbolo por vez, mas leva em conta a probabilidade de cada um aparecer na sequência original. Está um pouco melhor (os dados estão mais parecidos), mas ainda não pegou bem o jeito. O próximo passo é crucial. A terceira versão leva em conta cada par de letras que pode ocorrer. Neste caso, precisamos de três estados. O primeiro representa todos os pares que começam com A, o segundo todos os que começam com B, e o terceiro estado representa todos os pares que começam com C. Note que o copo A tem muitos pares AA, o que faz sentido, pois a probabilidade de pares AA é maior na mensagem original. Podemos gerar uma sequência usando essa terceira versão do modelo, com as seguintes instruções: comece por qualquer copo, pegue um par e anote a primeira letra. E, agora, mova-o para o copo correspondente à segunda letra. Então, pegue um novo par do copo e repita o processo indefinidamente. Observe que a sequência se torna bem similar à mensagem original porque este modelo está capturando as dependências condicionais entre as letras. Se quisermos fazer ainda melhor, podemos ir para a quarta versão, que leva em conta o grupo de três letras (ou trigramas). Neste caso, seriam necessários nove estados. A seguir, Shannon aplica esta mesma lógica em textos em inglês, usando estatísticas conhecidas para letras, pares, trigramas etc. Ele mostra a mesma evolução da primeira para a segunda, para a terceira e quarta versões. Então, ele tenta o mesmo usando palavras em vez de letras. E escreve: a semelhança para o inglês de verdade aumenta notoriamente a cada versão. De fato, essas máquinas produzem texto sem significado, embora contenham aproximadamente a mesma estrutura estatística encontrada em textos reais. Shannon, então, define uma medida quantitativa da informação à medida que ele percebe que o montante de informação em algumas mensagens está associado à complexidade do modelo capaz de gerar sequências semelhantes. O que nos leva ao seu conceito de entropia.