Medição de informações

[Música] considere o seguinte alice bob descobrindo como permite idade entre os dois casos na árvore primeiro eles usaram as chamas de noite e persianas esse dia depois eles usaram um filme estocavam de jeitos diferentes eventualmente ele quer ficar e civil para liberar recursos elétricos e agora estava trabalhando no método experimental sem silva o problema é para pagar os equipamentos eles precisavam de dinheiro então eles decidiram oferecer seus serviços a outros por uma taxa no primeiro dia a existir três novos clientes que queriam transmitir mensagens para seus amigos na casa da viúva de bob o primeiro cliente quer enviar uma lista de dez jogadores moeda o segundo cliente que lembra uma palavra de seis letras e o terceiro cliente que é enviada uma mão de qualquer um [Música] a pergunta agora é quanto ela deveria cobrar bom o preço de uma mensagem deveria depender de quanto tempo a lista de moda para transmiti la mas então como ela poderia medir a dotação de tipos diferentes de mensagem usando uma mesma unidade para descobrir vamos jogar um jogo imagine que você é bob agora que você sabe que ali se quer te enviar essas mensagens mas tudo o que você pode fazer é responder às perguntas com sim ou não alice vai responder e vinha numa sequência de zeros uns usando métodos de variação lembre se que todos os métodos de transmissão e envolverá troca de diferenças então poderia ser representado por uma chama acesa ou por uma persiana aberta ou um pulso elétrico não importa como eles são manifestados podemos simplesmente chamá-los de desvios binários então disco binário pode ter apenas 11 dos valores 01 então vamos dizer que o zero representa ou não e um representa assim o desafio agora é sempre perguntar o menor número de perguntas possíveis para descobrir a mensagem rezada primeiro vamos considerar a jogada de moeda para cada símbolo remetente ou seja ali se pode ser considerado como escolhendo um de dois símbolos diferentes cara ou coroa quantas perguntas você precisaria fazer para saber qual escolheu uma pergunta como é cara vai ser o suficiente para dez jogadas qual o número mínimo de perguntas bem de jogadas vezes uma pergunta por jogada é igual a dez perguntas ou dez dígitos binários para transmitir essa mensagem em seguida vamos considerar as letras para cada símbolo o remetente ali se pode pensar em selecionado um dos 26 diferentes inbus vamos começar com a mensagem mais simples que é uma letra enquanto as perguntas são necessários é a e b é ser o e b e assim por diante mas esse não é o menor número de perguntas possível melhor que você poderia fazer é perguntar questões queen dimmy novidades das possibilidades por exemplo o medo alfabeto está entre mn então poderíamos perguntar primeiro é melhor game recebemos 15 portanto as mensagens das possibilidades o que deixa 13 soberana então não podemos fazer é pedir uma letra no meio de vítimas do simples possíveis em conjunto de 6 e 7 e perguntamos é menor do que já temos um que assim e agora ficamos com seis letras possíveis e podemos dividi las na metade perguntar é menor do que de recebemos é do que não nos deixa com três letras possíveis e agora podemos pegar num lado e perguntar é de que recebemos é do que é não e finalmente ficamos com duas possibilidades e perguntamos é e nós recebemos um não e depois de cinco perguntas indentificamos corretamente o símbolo efe perceba que nunca precisaremos perguntar mais de 15 perguntas o número de perguntas será no mínimo quatro e no máximo cinco e de modo geral 2 elevado número de perguntas é igual ao número de possíveis mensagens que foi previamente definida como espaço da mensagem então como poderíamos calcular a média exata o número de perguntas esperado dada uma mensagem de espaço 26 nós fazemos uma pergunta inversa 2 e levado alguma coisa é igual a 26 para responder esse tipo de pergunta naturalmente usamos uma função lugar indica com base dois porque log de 26 na base dois expoentes de 2 que nos dá 26 o que é aproximadamente 4,7 então em média serão necessários no mínimo ou cerca de 4,7 perguntas por letras desde que ela queira ter sentido uma palavra com seis letras pobre pode esperar para perguntar no mínimo 28,2 perguntas significa que alice terá que enviar no máximo vinte e nove dígitos binários e finalmente vamos aplicar essa forma uma nova mensagem à mão de poucas bem para cada símbolo podemos pensar que o emitente alive selecionar um dos 52 simples diferentes e neste caso o número de perguntas é o mesmo que o número de vezes que é preciso dividir o badalado e perguntar a lista em que monte ele se encontra até que ficamos com uma carta geralmente são seis grupos de perguntas e às vezes cinco nós podemos economizar tempo e usarmos nossa equação blog 52 na base dois é aproximadamente 5,7 72 levado 5,7 aproximadamente 82 assim no domingo de perguntas em média 5,7 por carta na mão de pôquer com 35 cartas assim transmitindo uma mão de pouca requer 28,5 perguntas em média agora acabamos temos nossa unidade é baseado no número mínimo de perguntas para definir a mensagem ou toda da árvore de decisões uma vez que ali se transmitir essas informações como dígitos binários podemos encurtar e se chamará nossa unidade de betim em vez disto binárias então dez lançamentos de moedas e querem 10 bits a palavra seis letras requer 28,2 bits e uma mão de poucas sequer 28,5 bits a gente decide então comprar um centavo por bit e como é que solicitar suas taxas essa idéia surgiu na década de 1920 foi um dos problemas mais abstratos que engenheiros de comunicação estavam pensando harley foi produtivo pesquisador de eletrônica que construiu essa idéia needy ambos trabalhavam nos laboratórios bell após a primeira guerra mundial em 1928 hype publicou importante artigo intitulado a transmissão de informações em que ele define a palavra informação usando o símbolo h sendo que h e igual a ene vezes o logaritmo de s em que h é a nossa informação n é o nome de símbolos sejam eles notas letras números e seta e é seu nome diferente dos possíveis em cada seleção isso pode também ser inscrito como h é igual o logaritmo ds elevado a eni e harley escreve o que temos feito em seguida retomar com medida prática da informação o logaritmo do número de sequências de símbolos possíveis assim a informação é o logaritmo dos pados mensagem no entanto percebemos que ao longo dessa lição assumimos que a seleção de símbolos é aleatória a simplificação conveniente mas nós sabemos que na realidade a maioria da comunicação como fala nem sempre ela adora uma costura sutil de previsibilidade e de surpresa nós não roubamos dados como escrevemos letras e é exatamente essa previsibilidade que pode resultar em economias significativas no comprimento da transmissão porque quando podemos prever as coisas acontecimento não precisava fazer pergunta sim ou não para defini-la mas como poderíamos formalmente modeladas sutil diferença essa questão nos levam importante insight de nossa história você consegue pensar no que poderia ser