b'\n_START_ARTICLE_\nPerplexidade\n_START_SECTION_\nPerplexidade de uma distribui\xc3\xa7\xc3\xa3o de probabilidade\n_START_PARAGRAPH_\nA perplexidade de uma distribui\xc3\xa7\xc3\xa3o de probabilidade discreta  \xc3\xa9 definida como:_NEWLINE_em que  \xc3\xa9 a entropia (em bits) da distribui\xc3\xa7\xc3\xa3o e  varia sobre os eventos, ou seja, a perplexidade \xc3\xa9 igual a 2 elevado \xc3\xa0 entropia ou, mais precisamente, 2 elevado \xc3\xa0 entropia cruzada, defini\xc3\xa7\xc3\xa3o esta usada frequentemente na compara\xc3\xa7\xc3\xa3o emp\xc3\xadrica de modelos probabil\xc3\xadsticos._NEWLINE_A perplexidade de uma vari\xc3\xa1vel aleat\xc3\xb3ria  pode ser definida como a perplexidade da distribui\xc3\xa7\xc3\xa3o sobre seus poss\xc3\xadveis valores ._NEWLINE_No caso especial em que  modela um dado honesto de -faces (uma distribui\xc3\xa7\xc3\xa3o uniforme sobre  eventos discretos), sua perplexidade \xc3\xa9 . Uma vari\xc3\xa1vel aleat\xc3\xb3ria com perplexidade  tem a mesma incerteza de um dado honesto de -faces e \xc3\xa9 considerada "perplexa em -formas" sobre o valor da vari\xc3\xa1vel aleat\xc3\xb3ria. A n\xc3\xa3o ser que seja um dado honesto de -faces, mais que  valores ser\xc3\xa3o poss\xc3\xadveis, mas a incerteza geral n\xc3\xa3o \xc3\xa9 maior, porque alguns destes valores ter\xc3\xa3o probabilidade maior que , diminuindo o valor geral ao somar._NEWLINE_A perplexidade \xc3\xa9 algumas vezes usada como uma medida de qu\xc3\xa3o dif\xc3\xadcil um problema de previs\xc3\xa3o \xc3\xa9. Isto n\xc3\xa3o \xc3\xa9 sempre preciso. Se voc\xc3\xaa tiver duas escolhas, uma com probabilidade , ent\xc3\xa3o suas chances de um palpite correto s\xc3\xa3o iguais a  usando a estrat\xc3\xa9gia \xc3\xb3tima. A perplexidade \xc3\xa9 . O inverso da perplexidade, que representa a probabilidade de um palpite correto no caso do dado honesto de -faces, \xc3\xa9 igual \xc3\xa0 , n\xc3\xa3o ._NEWLINE_A perplexidade \xc3\xa9 a exponencia\xc3\xa7\xc3\xa3o da entropia, que \xc3\xa9 uma quantidade com contorno mais n\xc3\xadtido. A entropia \xc3\xa9 uma medida do n\xc3\xbamero esperado ou "m\xc3\xa9dio" de bits exigido para codificar o resultado da vari\xc3\xa1vel aleat\xc3\xb3ria, usando o c\xc3\xb3digo de comprimento vari\xc3\xa1vel, \xc3\xb3timo e te\xc3\xb3rico. Pode ser equivalentemente considerada como o ganho de informa\xc3\xa7\xc3\xa3o esperado ao aprender o resultado da vari\xc3\xa1vel aleat\xc3\xb3ria, em que a informa\xc3\xa7\xc3\xa3o \xc3\xa9 medida em bits.\n_START_SECTION_\nPerplexidade de um modelo de probabilidade\n_START_PARAGRAPH_\nUm modelo de uma distribui\xc3\xa7\xc3\xa3o de probabilidade desconhecida  pode ser proposto com base em uma amostra de treinamento que foi retirada de . Dado um modelo de probabilidade proposto , pode-se avaliar  ao perguntar qu\xc3\xa3o bem ele prev\xc3\xaa uma amostra de teste separada  tamb\xc3\xa9m retirada de . A perplexidade do modelo  \xc3\xa9 definida como:_NEWLINE_em que  \xc3\xa9 costumeiramente . Modelos melhores  da distribui\xc3\xa7\xc3\xa3o desconhecida  tender\xc3\xa3o a atribuir probabilidades maiores  aos eventos de teste. Assim, t\xc3\xaam menor perplexidade, sendo menos surpreendidos pela amostra de teste._NEWLINE_O expoente acima pode ser considerado como o n\xc3\xbamero m\xc3\xa9dio de bits necess\xc3\xa1rios para representar um evento de teste  se for usado um c\xc3\xb3digo \xc3\xb3timo baseado em . Modelos de baixa perplexidade fazem um melhor trabalho comprimindo a amostra de teste, exigindo poucos bits por elemento de teste em m\xc3\xa9dia porque  tende a ser alta._NEWLINE__NEWLINE_O expoente pode tamb\xc3\xa9m ser considerado uma entropia cruzada:_NEWLINE_em que  denota a distribui\xc3\xa7\xc3\xa3o emp\xc3\xadrica da amostra de teste, isto \xc3\xa9, , se  tiver aparecido  vezes na amostra de teste de tamanho .\n_START_SECTION_\nPerplexidade por palavra\n_START_PARAGRAPH_\nEm processamento de linguagem natural, a perplexidade \xc3\xa9 uma forma de avaliar modelos de linguagem. Um modelo de linguagem \xc3\xa9 uma distribui\xc3\xa7\xc3\xa3o de probabilidade sobre senten\xc3\xa7as ou textos inteiros._NEWLINE_Usando a defini\xc3\xa7\xc3\xa3o de perplexidade para um modelo de probabilidade, pode-se encontrar, por exemplo, que a senten\xc3\xa7a m\xc3\xa9dia  na amostra de teste poderia ser codificada em 190 bits, isto \xc3\xa9, as senten\xc3\xa7as de teste tinham um logaritmo de probabilidade m\xc3\xa9dio igual a -190. Isto daria uma perplexidade de modelo enorme de  por senten\xc3\xa7a. Entretanto, \xc3\xa9 mais comum normalizar o comprimento de senten\xc3\xa7a e considerar apenas o n\xc3\xbamero de bits por palavra. Assim, se as frases da amostra de teste compreenderem um total de 1.000 palavras e puderem ser codificadas usando um total de 7,95 bits por palavra, poder\xc3\xa1 se relatada uma perplexidade de modelo de  por palavra. Em outras palavras, o modelo \xc3\xa9 t\xc3\xa3o confuso em dados de teste quanto se tivesse que escolher uniformemente e independentemente entre 247 possibilidades para cada palavra._NEWLINE_At\xc3\xa9 1992, a mais baixa perplexidade publicada no Brown Corpus (lista de 1 milh\xc3\xa3o de palavras em ingl\xc3\xaas norte-americano sobre variados t\xc3\xb3picos e g\xc3\xaaneros) havia sido de fato aproximadamente 247 por palavra, correspondendo a uma entropia cruzada de  bits por palavra ou 1,75 bits por letra, usando um modelo trigrama. \xc3\x89 frequentemente poss\xc3\xadvel conseguir uma perplexidade mais baixa em corpora mais especializados, j\xc3\xa1 que s\xc3\xa3o mais previs\xc3\xadveis._NEWLINE_Novamente, simplesmente prever que a pr\xc3\xb3xima palavra no Brown Corpus \xc3\xa9 a palavra "the" ter\xc3\xa1 uma precis\xc3\xa3o de 7%, n\xc3\xa3o de , como um uso ing\xc3\xaanuo da perplexidade como uma medida de previsibilidade pode levar algu\xc3\xa9m a crer. Este palpite \xc3\xa9 baseado na estat\xc3\xadstica de unigrama do Brown Corpus, n\xc3\xa3o na estat\xc3\xadstica de trigrama, que produziu a perplexidade de palavra igual a 247. Usar a estat\xc3\xadstica de trigrama melhoraria posteriormente as chances de um palpite correto.'