Logo
Unionpedia
Comunicazione
Disponibile su Google Play
Nuovo! Scarica Unionpedia sul tuo dispositivo Android™!
Gratuito
l'accesso più veloce di browser!
 

Problema della scomparsa del gradiente

Indice Problema della scomparsa del gradiente

Il problema della scomparsa del gradiente (in lingua inglese vanishing gradient problem) è un fenomeno che crea difficoltà nell'addestramento delle reti neurali profonde tramite retropropagazione dell'errore mediante discesa stocastica del gradiente.

17 relazioni: Algoritmo genetico, Apprendimento profondo, CPU, Derivata parziale, Discesa stocastica del gradiente, Equazione logistica, Funzione di verosimiglianza, Funzioni iperboliche, GPGPU, Jürgen Schmidhuber, Lingua inglese, Particle Swarm Optimization, Regola della catena, Rete neurale artificiale, Rete neurale feed-forward, Retropropagazione dell'errore, Rettificatore (reti neurali).

Algoritmo genetico

Un algoritmo genetico è un algoritmo euristico ispirato al principio della selezione naturale ed evoluzione biologica teorizzato nel 1859 da Charles Darwin.

Nuovo!!: Problema della scomparsa del gradiente e Algoritmo genetico · Mostra di più »

Apprendimento profondo

L'apprendimento profondo (in inglese deep learning) è quel campo di ricerca dell'apprendimento automatico (in inglese machine learning) e dell'intelligenza artificiale che si basa su diversi livelli di rappresentazione, corrispondenti a gerarchie di caratteristiche di fattori o concetti, dove i concetti di alto livello sono definiti sulla base di quelli di basso.

Nuovo!!: Problema della scomparsa del gradiente e Apprendimento profondo · Mostra di più »

CPU

L'unità di elaborazione centrale (central processing unit, in sigla CPU, con particolare riferimento alla sezione logica in astratto) o processore centrale o più propriamente microprocessore (in sigla µP o uP, con particolare riferimento al chip hardware) è un tipo di processore digitale general purpose che si contraddistingue per sovrintendere a gran parte delle funzionalità del computer digitale basato sull'architettura di von Neumann o sull'architettura Harvard.

Nuovo!!: Problema della scomparsa del gradiente e CPU · Mostra di più »

Derivata parziale

La pendenza della retta t_1 è data dalla derivata parziale di f rispetto alla prima variabile in (x_0,y_0). La pendenza della retta t_2 è data dalla derivata di f rispetto alla seconda variabile nello stesso punto In analisi matematica, la derivata parziale è una prima generalizzazione del concetto di derivata di una funzione reale alle funzioni di più variabili.

Nuovo!!: Problema della scomparsa del gradiente e Derivata parziale · Mostra di più »

Discesa stocastica del gradiente

La discesa stocastica del gradiente (in lingua inglese stochastic gradient descent, SGD) è un metodo iterativo per l'ottimizzazione di funzioni differenziabili, approssimazione stocastica del metodo di discesa del gradiente (GD) quando la funzione costo ha la forma di una somma.

Nuovo!!: Problema della scomparsa del gradiente e Discesa stocastica del gradiente · Mostra di più »

Equazione logistica

Una funzione logistica o curva logistica descrive una curva ad S di crescita di alcuni tipi di popolazioni P. All'inizio la crescita è quasi esponenziale, successivamente rallenta, diventando quasi lineare, per raggiungere una posizione asintotica dove non c'è più crescita.

Nuovo!!: Problema della scomparsa del gradiente e Equazione logistica · Mostra di più »

Funzione di verosimiglianza

La funzione di verosimiglianza in statistica è una funzione di probabilità condizionata, considerata come funzione del suo secondo argomento, mantenendo fissato il primo argomento.

Nuovo!!: Problema della scomparsa del gradiente e Funzione di verosimiglianza · Mostra di più »

Funzioni iperboliche

In matematica, le funzioni iperboliche costituiscono una famiglia di funzioni elementari dotate di alcune proprietà analoghe a corrispondenti proprietà delle ordinarie funzioni trigonometriche.

Nuovo!!: Problema della scomparsa del gradiente e Funzioni iperboliche · Mostra di più »

GPGPU

In informatica per GPGPU, sigla di general-purpose computing on graphics processing units (letteralmente "calcolo a scopo generale su unità di elaborazione grafica"), si intende l'uso di un'unità di elaborazione grafica (GPU) per scopi diversi dal tradizionale utilizzo nella grafica computerizzata.

Nuovo!!: Problema della scomparsa del gradiente e GPGPU · Mostra di più »

Jürgen Schmidhuber

Secondo questa teoria, elaborata da Schmidhuber nel 1997, ogni soggetto di fronte a una serie di paesaggi, volti, opere d'arte, indica come il "più bello" quello più semplice da decodificare e memorizzare.

Nuovo!!: Problema della scomparsa del gradiente e Jürgen Schmidhuber · Mostra di più »

Lingua inglese

L'inglese (nome nativo English) è una lingua indoeuropea appartenente al ramo occidentale delle lingue germaniche, assieme all'olandese, all'alto e basso tedesco, al fiammingo e al frisone.

Nuovo!!: Problema della scomparsa del gradiente e Lingua inglese · Mostra di più »

Particle Swarm Optimization

In informatica, la particle swarm optimization (PSO), traducibile come "ottimizzazione con sciami di particelle", è un algoritmo di ottimizzazione e appartiene ad una particolare classe di algoritmi utilizzati in diversi campi, tra cui l'intelligenza artificiale.

Nuovo!!: Problema della scomparsa del gradiente e Particle Swarm Optimization · Mostra di più »

Regola della catena

In analisi matematica, la regola della catena è una regola di derivazione che permette di calcolare la derivata della funzione composta di due funzioni derivabili.

Nuovo!!: Problema della scomparsa del gradiente e Regola della catena · Mostra di più »

Rete neurale artificiale

Nel campo dell'apprendimento automatico, una rete neurale artificiale (in inglese artificial neural network, abbreviato in ANN o anche come NN) è un modello matematico composto di "neuroni" artificiali, ispirato vagamente dalla semplificiazione di una rete neurale biologica.

Nuovo!!: Problema della scomparsa del gradiente e Rete neurale artificiale · Mostra di più »

Rete neurale feed-forward

Una rete neurale feed-forward ("rete neurale con flusso in avanti") o rete feed-forward è una rete neurale artificiale dove le connessioni tra le unità non formano cicli, differenziandosi dalle reti neurali ricorrenti.

Nuovo!!: Problema della scomparsa del gradiente e Rete neurale feed-forward · Mostra di più »

Retropropagazione dell'errore

La retropropagazione dell'errore (in lingua inglese backward propagation of errors, solitamente abbreviato in backpropagation), è un algoritmo per l'allenamento delle reti neurali artificiali, usato in combinazione con un metodo di ottimizzazione come per esempio la discesa stocastica del gradiente.

Nuovo!!: Problema della scomparsa del gradiente e Retropropagazione dell'errore · Mostra di più »

Rettificatore (reti neurali)

Nel contesto delle reti neurali, il rettificatore è una funzione di attivazione definita come la parte positiva del suo argomento: f(x).

Nuovo!!: Problema della scomparsa del gradiente e Rettificatore (reti neurali) · Mostra di più »

Riorienta qui:

Scomparsa del gradiente.

UscenteArrivo
Ehi! Siamo su Facebook ora! »