Logo
Unionpedia
Comunicazione
Disponibile su Google Play
Nuovo! Scarica Unionpedia sul tuo dispositivo Android™!
Gratuito
l'accesso più veloce di browser!
 

Discesa stocastica del gradiente

Indice Discesa stocastica del gradiente

La discesa stocastica del gradiente (in lingua inglese stochastic gradient descent, SGD) è un metodo iterativo per l'ottimizzazione di funzioni differenziabili, approssimazione stocastica del metodo di discesa del gradiente (GD) quando la funzione costo ha la forma di una somma.

53 relazioni: Apprendimento automatico, Apprendimento profondo, Bias (statistica), Calcolo distribuito, Condizionamento (matematica), Coursera, Covarianza (probabilità), Dataset, De facto, Discesa del gradiente, Discesa stocastica del gradiente, Errore quadratico medio, Filtro di Kalman, Funzione convessa, Funzione differenziabile, Gradiente (funzione), Graphics Processing Unit, John Wiley & Sons, K-means, Lingua inglese, Macchine a vettori di supporto, Media (statistica), Media mobile, Metodo dei minimi quadrati, Metodo della massima verosimiglianza, Metodo iterativo, Modello (scienza), Modello lineare generalizzato, Moltiplicazione di matrici, Momento di un vettore, Norma (matematica), Norma uniforme, Osservazione, Ottimizzazione (matematica), Potenziale scalare, Prodotto tensoriale, Punto di sella, Quantità di moto, Quasi certamente, Race condition, Regressione lineare, Regressione logistica, Regressione nonlineare, Rete neurale artificiale, Retropropagazione dell'errore, Rumore gaussiano, Simulated annealing, Sincronizzazione, Smoothing, Stabilità numerica, ..., Statistica, TensorFlow, Valore atteso. Espandi índice (3 più) »

Apprendimento automatico

L’apprendimento automatico, nota anche come machine learning, rappresenta un insieme di metodi sviluppati a partire dagli ultimi decenni del 1900 in varie comunità scientifiche con diversi nomi come: statistica computazionale, riconoscimento di pattern, reti neurali artificiali, filtraggio adattivo, teoria dei sistemi dinamici, elaborazione delle immagini, data mining, algoritmi adattivi, ecc; che utilizza metodi statistici per migliorare progressivamente la performance di un algoritmo nell'identificare pattern nei dati.

Nuovo!!: Discesa stocastica del gradiente e Apprendimento automatico · Mostra di più »

Apprendimento profondo

L'apprendimento profondo (in inglese deep learning) è quel campo di ricerca dell'apprendimento automatico (in inglese machine learning) e dell'intelligenza artificiale che si basa su diversi livelli di rappresentazione, corrispondenti a gerarchie di caratteristiche di fattori o concetti, dove i concetti di alto livello sono definiti sulla base di quelli di basso.

Nuovo!!: Discesa stocastica del gradiente e Apprendimento profondo · Mostra di più »

Bias (statistica)

In statistica, i termini bias (etimologia incerta), distorsione o scostamento sono usati con riferimento a due concetti.

Nuovo!!: Discesa stocastica del gradiente e Bias (statistica) · Mostra di più »

Calcolo distribuito

Il calcolo distribuito è un campo dell'informatica che studia i sistemi distribuiti.

Nuovo!!: Discesa stocastica del gradiente e Calcolo distribuito · Mostra di più »

Condizionamento (matematica)

Il condizionamento in matematica, in particolare nel calcolo numerico, riguarda il rapporto tra errore commesso sul risultato di un calcolo e incertezza sui dati in ingresso.

Nuovo!!: Discesa stocastica del gradiente e Condizionamento (matematica) · Mostra di più »

Coursera

Coursera è un'azienda statunitense che opera nel campo delle tecnologie didattiche fondata da docenti d'informatica dell'Università di Stanford.

Nuovo!!: Discesa stocastica del gradiente e Coursera · Mostra di più »

Covarianza (probabilità)

In statistica e in teoria della probabilità, la covarianza di due variabili statistiche o variabili aleatorie è un numero che fornisce una misura di quanto le due varino assieme, ovvero della loro dipendenza.

Nuovo!!: Discesa stocastica del gradiente e Covarianza (probabilità) · Mostra di più »

Dataset

Un dataset (o data set) è una collezione di dati.

Nuovo!!: Discesa stocastica del gradiente e Dataset · Mostra di più »

De facto

De facto ("di fatto", "in realtà") è una locuzione latina utilizzata nel linguaggio giuridico e in quello comune per indicare un elemento che è nella pratica in vigore (o in essere), pur non avendo un riconoscimento di carattere ufficiale.

Nuovo!!: Discesa stocastica del gradiente e De facto · Mostra di più »

Discesa del gradiente

In ottimizzazione e analisi numerica il metodo di discesa del gradiente (detto anche metodo del gradiente, metodo steepest descent o metodo di discesa più ripida) è una tecnica che consente di determinare i punti di massimo e minimo di una funzione di più variabili.

Nuovo!!: Discesa stocastica del gradiente e Discesa del gradiente · Mostra di più »

Discesa stocastica del gradiente

La discesa stocastica del gradiente (in lingua inglese stochastic gradient descent, SGD) è un metodo iterativo per l'ottimizzazione di funzioni differenziabili, approssimazione stocastica del metodo di discesa del gradiente (GD) quando la funzione costo ha la forma di una somma.

Nuovo!!: Discesa stocastica del gradiente e Discesa stocastica del gradiente · Mostra di più »

Errore quadratico medio

In statistica, l'errore quadratico medio (in inglese Mean Squared Error, MSE) indica la discrepanza quadratica media fra i valori dei dati osservati ed i valori dei dati stimati.

Nuovo!!: Discesa stocastica del gradiente e Errore quadratico medio · Mostra di più »

Filtro di Kalman

Il filtro di Kalman è un efficiente filtro ricorsivo che valuta lo stato di un sistema dinamico a partire da una serie di misure soggette a rumore.

Nuovo!!: Discesa stocastica del gradiente e Filtro di Kalman · Mostra di più »

Funzione convessa

In matematica, una funzione f(x) a valori reali definita su un intervallo si dice convessa se il segmento che congiunge due qualsiasi punti del suo grafico si trova al di sopra del grafico stesso.

Nuovo!!: Discesa stocastica del gradiente e Funzione convessa · Mostra di più »

Funzione differenziabile

In matematica, in particolare in analisi matematica e geometria differenziale, una funzione differenziabile in un punto è una funzione che può essere approssimata a meno di un resto infinitesimo da una trasformazione lineare in un intorno abbastanza piccolo di quel punto.

Nuovo!!: Discesa stocastica del gradiente e Funzione differenziabile · Mostra di più »

Gradiente (funzione)

Nel calcolo differenziale vettoriale, il gradiente di una funzione a valori reali (ovvero di un campo scalare) è una funzione vettoriale.

Nuovo!!: Discesa stocastica del gradiente e Gradiente (funzione) · Mostra di più »

Graphics Processing Unit

L'unità di elaborazione grafica (più nota come GPU, dalla lingua inglese graphics processing unit) o unità di elaborazione visiva (VPU, in inglese visual processing unit) o processore grafico o processore visivo è una tipologia particolare di coprocessore che si contraddistingue per essere specializzata nel rendering di immagini grafiche.

Nuovo!!: Discesa stocastica del gradiente e Graphics Processing Unit · Mostra di più »

John Wiley & Sons

John Wiley & Sons, Inc. è una casa editrice statunitense specializzata in testi di riferimento.

Nuovo!!: Discesa stocastica del gradiente e John Wiley & Sons · Mostra di più »

K-means

L'algoritmo K-means è un algoritmo di clustering partizionale che permette di suddividere un insieme di oggetti in K gruppi sulla base dei loro attributi.

Nuovo!!: Discesa stocastica del gradiente e K-means · Mostra di più »

Lingua inglese

L'inglese (nome nativo English) è una lingua indoeuropea appartenente al ramo occidentale delle lingue germaniche, assieme all'olandese, all'alto e basso tedesco, al fiammingo e al frisone.

Nuovo!!: Discesa stocastica del gradiente e Lingua inglese · Mostra di più »

Macchine a vettori di supporto

Le macchine a vettori di supporto (SVM, dall'inglese Support Vector Machines), o macchine kernel, sono delle metodologie di apprendimento supervisionato per la regressione e la classificazione di pattern, sviluppati negli anni '90 da Vladimir Vapnik ed il suo team presso i laboratori Bell della AT&T.

Nuovo!!: Discesa stocastica del gradiente e Macchine a vettori di supporto · Mostra di più »

Media (statistica)

In statistica, la media è un singolo valore numerico che descrive sinteticamente un insieme di dati.

Nuovo!!: Discesa stocastica del gradiente e Media (statistica) · Mostra di più »

Media mobile

In statistica, la media mobile è uno strumento utilizzato per l'analisi di serie storiche.

Nuovo!!: Discesa stocastica del gradiente e Media mobile · Mostra di più »

Metodo dei minimi quadrati

Il metodo dei minimi quadrati (in inglese OLS: Ordinary Least Squares) è una tecnica di ottimizzazione (o regressione) che permette di trovare una funzione, rappresentata da una curva ottima (o curva di regressione), che si avvicini il più possibile ad un insieme di dati (tipicamente punti del piano).

Nuovo!!: Discesa stocastica del gradiente e Metodo dei minimi quadrati · Mostra di più »

Metodo della massima verosimiglianza

Il metodo della massima verosimiglianza, in statistica, è un procedimento matematico per determinare uno stimatore.

Nuovo!!: Discesa stocastica del gradiente e Metodo della massima verosimiglianza · Mostra di più »

Metodo iterativo

In analisi numerica un metodo numerico iterativo è un tipo di metodo numerico nel quale le successive approssimazioni della soluzione al problema matematico esaminato sono ottenute a partire dalle precedenti.

Nuovo!!: Discesa stocastica del gradiente e Metodo iterativo · Mostra di più »

Modello (scienza)

Nell'uso scientifico un modello è un insieme di teorie che descrive un fenomeno in modo oggettivo.

Nuovo!!: Discesa stocastica del gradiente e Modello (scienza) · Mostra di più »

Modello lineare generalizzato

I modelli lineari generalizzati (GLM) sono una generalizzazione del più classico modello lineare nell'ambito della regressione lineare.

Nuovo!!: Discesa stocastica del gradiente e Modello lineare generalizzato · Mostra di più »

Moltiplicazione di matrici

Il disegno mostra il caso in cui ''A'' è 4 × 2 e ''B'' è 2 × 3, e si voglia calcolare l'elemento (''C'')12.

Nuovo!!: Discesa stocastica del gradiente e Moltiplicazione di matrici · Mostra di più »

Momento di un vettore

In algebra lineare il momento di un vettore è uno pseudovettore definito come prodotto vettoriale della posizione del vettore (relativa a un punto detto polo) per il vettore stesso.

Nuovo!!: Discesa stocastica del gradiente e Momento di un vettore · Mostra di più »

Norma (matematica)

In algebra lineare, analisi funzionale e aree correlate della matematica, una norma è una funzione che assegna ad ogni vettore di uno spazio vettoriale, tranne lo zero, una lunghezza positiva.

Nuovo!!: Discesa stocastica del gradiente e Norma (matematica) · Mostra di più »

Norma uniforme

_\infty.

Nuovo!!: Discesa stocastica del gradiente e Norma uniforme · Mostra di più »

Osservazione

L'osservazione è l'atto di acquisizione di informazioni da una fonte primaria, negli esseri viventi ottenuta tramite gli organi di senso.

Nuovo!!: Discesa stocastica del gradiente e Osservazione · Mostra di più »

Ottimizzazione (matematica)

L'ottimizzazione (o programmazione matematica, PM) è una branca della matematica applicata che studia teoria e metodi per la ricerca dei punti di massimo e minimo di una funzione matematica; si ottiene così un modello matematico che traduce in termini matematici un dato problema (non occupandosi quindi direttamente di come tale modello sia stato costruito).

Nuovo!!: Discesa stocastica del gradiente e Ottimizzazione (matematica) · Mostra di più »

Potenziale scalare

In matematica e fisica, in particolare nel calcolo vettoriale, il potenziale scalare è un campo scalare il cui gradiente è un campo vettoriale.

Nuovo!!: Discesa stocastica del gradiente e Potenziale scalare · Mostra di più »

Prodotto tensoriale

In matematica, il prodotto tensoriale, indicato con \otimes, è un concetto che generalizza la nozione di operatore bilineare e può essere applicato a molteplici oggetti matematici, ad esempio a spazi vettoriali, moduli e matrici.

Nuovo!!: Discesa stocastica del gradiente e Prodotto tensoriale · Mostra di più »

Punto di sella

In analisi matematica, un punto di sella di una funzione reale di più variabili reali f:\R^n \to \R è un punto critico P del dominio della f in cui la matrice hessiana risulti indefinita: vale a dire non sia né una matrice semidefinita positiva, né una matrice semidefinita negativa.

Nuovo!!: Discesa stocastica del gradiente e Punto di sella · Mostra di più »

Quantità di moto

In meccanica la quantità di moto di un oggetto massivo è una grandezza vettoriale definita come il prodotto della massa dell'oggetto per la sua velocità.

Nuovo!!: Discesa stocastica del gradiente e Quantità di moto · Mostra di più »

Quasi certamente

In teoria della probabilità, si dice che un evento accade quasi certamente (in inglese almost surely o a.s.) se accade con probabilità uguale a uno.

Nuovo!!: Discesa stocastica del gradiente e Quasi certamente · Mostra di più »

Race condition

La situazione di corsa, o più semplicemente corsa (in inglese, race condition), è un fenomeno che si presenta nei sistemi concorrenti e avviene quando, in un sistema basato su processi multipli, il risultato finale dell'esecuzione dei processi dipende dalla temporizzazione o dalla sequenza con cui vengono eseguiti.

Nuovo!!: Discesa stocastica del gradiente e Race condition · Mostra di più »

Regressione lineare

La regressione formalizza e risolve il problema di una relazione funzionale tra variabili misurate sulla base di dati campionari estratti da un'ipotetica popolazione infinita.

Nuovo!!: Discesa stocastica del gradiente e Regressione lineare · Mostra di più »

Regressione logistica

La regressione logistica è un caso particolare di modello lineare generalizzato avente come funzione link la funzione logit.

Nuovo!!: Discesa stocastica del gradiente e Regressione logistica · Mostra di più »

Regressione nonlineare

In statistica la regressione nonlineare è un metodo di stima di una curva interpolante un modello della forma: su un insieme di osservazioni (eventualmente multi-dimensionali), concernenti le variabili \ X, \ Y.

Nuovo!!: Discesa stocastica del gradiente e Regressione nonlineare · Mostra di più »

Rete neurale artificiale

Nel campo dell'apprendimento automatico, una rete neurale artificiale (in inglese artificial neural network, abbreviato in ANN o anche come NN) è un modello matematico composto di "neuroni" artificiali, ispirato vagamente dalla semplificiazione di una rete neurale biologica.

Nuovo!!: Discesa stocastica del gradiente e Rete neurale artificiale · Mostra di più »

Retropropagazione dell'errore

La retropropagazione dell'errore (in lingua inglese backward propagation of errors, solitamente abbreviato in backpropagation), è un algoritmo per l'allenamento delle reti neurali artificiali, usato in combinazione con un metodo di ottimizzazione come per esempio la discesa stocastica del gradiente.

Nuovo!!: Discesa stocastica del gradiente e Retropropagazione dell'errore · Mostra di più »

Rumore gaussiano

Il rumore gaussiano è un rumore che ha come funzione densità di probabilità una distribuzione normale.

Nuovo!!: Discesa stocastica del gradiente e Rumore gaussiano · Mostra di più »

Simulated annealing

Il Simulated Annealing (ricottura simulata) è una strategia utilizzata per risolvere problemi di ottimizzazione, che mira a trovare un minimo globale quando si è in presenza di più minimi locali.

Nuovo!!: Discesa stocastica del gradiente e Simulated annealing · Mostra di più »

Sincronizzazione

In informatica, la sincronizzazione è la problematica dell'ordinamento temporale di operazioni.

Nuovo!!: Discesa stocastica del gradiente e Sincronizzazione · Mostra di più »

Smoothing

In statistica ed elaborazione digitale delle immagini, lo smoothing (lett. ammorbidimento, levigatura, più comunemente "pulizia") di un insieme consiste nell'applicazione di una funzione di filtro il cui scopo è evidenziare i pattern significativi, attenuando il rumore generato da artefatti ambientali, elettrici, elettronici, informatici o fisiologici oppure altri fenomeni di disturbo legati a fattori di scala molto piccoli (ad es. i movimenti millimetrici di un paziente nel neuroimaging che a causa dell'elevata risoluzione provocano effetti di traslazione) o a fenomeni ad alta velocità.

Nuovo!!: Discesa stocastica del gradiente e Smoothing · Mostra di più »

Stabilità numerica

La stabilità numerica (anche algoritmica o computazionale), nell'ambito dell'analisi numerica, è una proprietà desiderabile degli algoritmi numerici.

Nuovo!!: Discesa stocastica del gradiente e Stabilità numerica · Mostra di più »

Statistica

La statistica è una disciplina che ha come fine lo studio quantitativo e qualitativo di un particolare fenomeno in condizioni di incertezza o non determinismo, ovvero di non completa conoscenza di esso o parte di esso.

Nuovo!!: Discesa stocastica del gradiente e Statistica · Mostra di più »

TensorFlow

TensorFlow è una Libreria software open source per l'apprendimento automatico (machine learning), che fornisce moduli testati ed ottimizzati utili nella realizzazione di algoritmi per diversi tipi di compiti percettivi e di comprensione del linguaggio.

Nuovo!!: Discesa stocastica del gradiente e TensorFlow · Mostra di più »

Valore atteso

In teoria della probabilità il valore atteso (chiamato anche media, speranza o speranza matematica) di una variabile casuale X, è un numero indicato con \mathbb (da expected value o expectation in inglese o dal francese espérance) che formalizza l'idea euristica di valore medio di un fenomeno aleatorio.

Nuovo!!: Discesa stocastica del gradiente e Valore atteso · Mostra di più »

Riorienta qui:

AMSGrad, AdaDelta, AdaGrad, AdaMax, Curriculum learning, KSGD, Nadam, RMSProp.

UscenteArrivo
Ehi! Siamo su Facebook ora! »