Logo
Unionpedia
Comunicazione
Disponibile su Google Play
Nuovo! Scarica Unionpedia sul tuo dispositivo Android™!
Scaricare
l'accesso più veloce di browser!
 

Divergenza di Kullback-Leibler

Indice Divergenza di Kullback-Leibler

In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con DKL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P: KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione.

7 relazioni: Codifica di Huffman, Distanza (matematica), Distribuzione discreta, Matrice hessiana, Tensore metrico, Teoria dell'informazione, Teoria della probabilità.

Codifica di Huffman

In informatica, per Codifica di Huffman si intende un algoritmo di codifica dei simboli, tale da massimizzare l'entropia, usato per la compressione di dati, basato sul principio di trovare il sistema ottimale per codificare stringhe basato sulla frequenza relativa di ciascun carattere.

Nuovo!!: Divergenza di Kullback-Leibler e Codifica di Huffman · Mostra di più »

Distanza (matematica)

L'accezione matematica del termine distanza ha un significato analogo a quello dell'uso comune, cioè quello della misura della "lontananza" tra due punti di un insieme al quale si possa attribuire qualche carattere spaziale.

Nuovo!!: Divergenza di Kullback-Leibler e Distanza (matematica) · Mostra di più »

Distribuzione discreta

In teoria delle probabilità una distribuzione discreta è una distribuzione di probabilità definita su un insieme discreto S. In particolare questo insieme può essere finito oppure numerabile (i suoi elementi possono essere elencati tramite i numeri naturali: S.

Nuovo!!: Divergenza di Kullback-Leibler e Distribuzione discreta · Mostra di più »

Matrice hessiana

In matematica, la matrice hessiana di una funzione di n variabili a valori in un campo di scalari, anche detta matrice di Hesse o semplicemente hessiana, è la matrice quadrata n × n delle derivate parziali seconde della funzione.

Nuovo!!: Divergenza di Kullback-Leibler e Matrice hessiana · Mostra di più »

Tensore metrico

In matematica, e più precisamente in geometria differenziale, un tensore metrico è un campo tensoriale che caratterizza la geometria di una varietà.

Nuovo!!: Divergenza di Kullback-Leibler e Tensore metrico · Mostra di più »

Teoria dell'informazione

La teoria dell'informazione è una disciplina dell'informatica e delle telecomunicazioni il cui oggetto è l'analisi e l'elaborazione su base matematica dei fenomeni relativi alla misurazione e alla trasmissione di informazioni su un canale fisico di comunicazione.

Nuovo!!: Divergenza di Kullback-Leibler e Teoria dell'informazione · Mostra di più »

Teoria della probabilità

La teoria della probabilità è lo studio matematico della probabilità.

Nuovo!!: Divergenza di Kullback-Leibler e Teoria della probabilità · Mostra di più »

UscenteArrivo
Ehi! Siamo su Facebook ora! »