b'\n_START_ARTICLE_\nDiverg\xc3\xaancia de Kullback-leibler\n_START_SECTION_\nEtimologia\n_START_PARAGRAPH_\nA diverg\xc3\xaancia de Kullback-Leibler foi introduzida por Solomon Kullback e Richard Leibler em 1951 como a diverg\xc3\xaancia, dist\xc3\xa2ncia entre duas distribui\xc3\xa7\xc3\xb5es; Kullback preferiu o termo  \'informa\xc3\xa7\xc3\xa3o de discrimina\xc3\xa7\xc3\xa3o\' .\n_START_SECTION_\nInterpreta\xc3\xa7\xc3\xb5es\n_START_PARAGRAPH_\nA diverg\xc3\xaancia de Kullback-Leibler de Q para P \xc3\xa9 frequentemente denotada com DKL(P\xe2\x80\x96Q )._NEWLINE_No contexto do aprendizado de m\xc3\xa1quina, DKL( P\xe2\x80\x96Q ) \xc3\xa9 frequentemente chamado de ganho de informa\xc3\xa7\xc3\xa3o alcan\xc3\xa7ado se Q for usado ao inv\xc3\xa9s de P. Por analogia com a teoria da informa\xc3\xa7\xc3\xa3o, tamb\xc3\xa9m \xc3\xa9 chamada de entropia relativa de Pem rela\xc3\xa7\xc3\xa3o a Q. No contexto da teoria de codifica\xc3\xa7\xc3\xa3o, D KL(P\xe2\x80\x96Q) pode ser interpretado como medida do n\xc3\xbamero esperado de bits extras bits necess\xc3\xa1rios para  c\xc3\xb3digo amostras de P usando um c\xc3\xb3digo optimizado para Q ao inv\xc3\xa9s do c\xc3\xb3digo optimizado para P._NEWLINE_Na vis\xc3\xa3o de [Infer\xc3\xaancia Bayesiana]], DKL (P\xe2\x80\x96Q) \xc3\xa9 uma medida da informa\xc3\xa7\xc3\xa3o obtida quando algu\xc3\xa9m rev\xc3\xaa suas cren\xc3\xa7as da distribui\xc3\xa7\xc3\xa3o de probabilidade inicial Q para distribui\xc3\xa7\xc3\xa3o de probabilidade final P. Em outras palavras, \xc3\xa9 a quantidade de informa\xc3\xa7\xc3\xa3o perdida quando Q \xc3\xa9 usado para aproximar P.  Em aplica\xc3\xa7\xc3\xb5es, P tipicamente representa a distribui\xc3\xa7\xc3\xa3o "verdadeira" de dados, observa\xc3\xa7\xc3\xb5es, ou uma distribui\xc3\xa7\xc3\xa3o te\xc3\xb3rica precisamente calculada, enquanto Q tipicamente representa uma teoria, modelo , descri\xc3\xa7\xc3\xa3o ou aproxima\xc3\xa7\xc3\xa3o de P. Para encontrar uma distribui\xc3\xa7\xc3\xa3o Q mais pr\xc3\xb3xima de P, podemos minimizar a diverg\xc3\xaancia de KL e computar uma proje\xc3\xa7\xc3\xa3o de informa\xc3\xa7\xc3\xa3o._NEWLINE_A diverg\xc3\xaancia de Kullback-Leibler \xc3\xa9 um caso especial de uma classe mais ampla de  diverg\xc3\xaancias chamada diverg\xc3\xaanciasf assim como a classe de diverg\xc3\xaancia de Bregman. \xc3\x89 a \xc3\xbanica diverg\xc3\xaancia sobre probabilidades que \xc3\xa9 um membro de ambas as classes. Muitas vezes \xc3\xa9 intu\xc3\xaddo pensar como uma forma de medir a dist\xc3\xa2ncia entre distribui\xc3\xa7\xc3\xb5es de probabilidade, a diverg\xc3\xaancia de Kullback-Leibler n\xc3\xa3o \xc3\xa9 uma verdadeiramente  m\xc3\xa9trica. Ela n\xc3\xa3o obedece \xc3\xa0 desigualdade triangular e, em geral, DKL( P\xe2\x80\x96Q ) n\xc3\xa3o \xc3\xa9 igual a DKL( Q\xe2\x80\x96P ). No entanto, sua forma infinitesimal, especificamente sua  Hessiana, fornece um tensor m\xc3\xa9trico conhecido como informa\xc3\xa7\xc3\xa3o de Fisher.'