Metodi di ottimizzazione numerica A.A. 2020-2021

Docente: Prof. Valeria Ruggiero

ORARIO DELLE LEZIONI (2° Semestre) - Inizio lezioni dal 24 febbraio 2020:

Mercoledì, ore 11:30-13:30; dal 21  aprile 2021, ore 9:00-11:00

Venerdì ore 9:00-11:00

Ricevimento:  previo appuntamento via e-mail.

Per informazioni, comunicazioni veloci e problemi relativi al corso: rgv@unife.it

Modalità di esame:

orale

CALENDARIO DELLE LEZIONI

Le lezioni si terranno via Meet in streaning.

Il materiale è reperibile su Classroom (codice e4i7dwd)

24 febbraio 2021 (2 ore) - Introduzione al corso e possibili applicazioni. Definizione di ottimizzazione numerica. Esempi di problemi di ottimo.

26 febbraio 2021 (2 ore) - Richiami di algebra e analisi multivariata, esempi e rappresentazione Matlab. Funzioni convesse e loro caratterizzazione (I  ordine e II ordine). Definizione di minimo.  Esistenza di minimi.

3 marzo 2021 (2 ore) - Condizioni necessarie  e condizioni sufficienti del I e II ordine. Metodi numerici per problemi non vincolati: introduzione ai metodi di discesa. Classe dei metodi del gradiente.

5 marzo 2021 (2 ore) - Condizioni di Wolfe. Teorema di Zoutendijk. Direzioni gradient related. Realizzazione in Matlab del metodo del gradiente con line search inesatta.

10 marzo 2021 (2 ore) - Convergenza dei metodi del gradiente con ricerca del passo esatta, inesatta e limitata. Ulteriori risultati di convergenza. Applicazioni in Matlab del teorema della cattura.  Definizioni di velocità di convergenza.

12 marzo 2021 (2 ore) -  Caso quadratico: metodo di discesa ripida e velocità di convergenza. Interpretazione geometrica del metodo di discesa ripida del caso quadratico. Tecniche di accelerazione di SD: precondizionamento.

17 marzo 2021 (2 ore) - Implementazione di SD precondizionato nel caso quadratico. Tecniche di accelerazione di SD: regole di Barzilai Borwein. Analisi spettrale. Applicazioni numeriche nel caso quadratico. Applicazioni numeriche nel caso generale. Realizzazione di metodi con regole BB alternate.

La lezione del giorno 19 marzo è sospesa, per concomitante sessione di laurea.

24 marzo 2021 (2 ore) - Metodi delle direzioni coniugate. Teorema di terminazione finita. Metodo CG. Proprietà del  metodo CG.

26 marzo 2021 (2 ore) - Discretizzazione del modello lineare di ricostruzione di immagini distorte e rumorose per risoluzione come problema di minimo di minimi quadrati regolarizzato con Hypersurface potential. Errore nel metodo CG. Precondizionamento di CG.

31 marzo 2021 (2 ore) - Sperimentazione del metodo CG e CG precondizionato. Metodo di Newton: convergenza e velocità di convergenza. Metodi quasi Newton: velocità di convergenza.

9 aprile 2021 (2 ore) - Regole SR1. Regole DFP e BFGS. Invarianza dei metodi quasi-Newton. Implementazione del metodo di Newton e della regola BFGS.

14 aprile 2021 (2 ore) - Le tecniche trust region: scelta del raggio, punto di Cauchy, tecnica dogleg. Metodo CG-Steinaugh.

16 aprile 2021 (2 ore) - Implementazione della tecnica trust region in Matlab (con dogleg e con CG-Steinaugh); proprietà dei metodi TR e convergenza.

21 aprile 2021 (2 ore) - Introduzione alla programmazione vincolata. Condizioni di ottimalità del I ordine per programmazione vincolata. Esempi.

28 aprile 2021 (2 ore) - Sensitività dei moltiplicatori di Lagrange. Esempi ed esercizi. Condizioni di ottimalità del II ordine per programmazione non lineare. Dualità.

30 aprile 2021 (2 ore) - Alcuni casi di proiezione per vincoli semplici. Metodi per problemi di programmazione quadratica con vincoli di uguaglianza lineari: metodo dello spazio immagine. Metodo dello spazio nullo. Tecniche di fattorizzazione per il metodo dello spazio nullo.

5 maggio 2021 (2 ore) - Metodi per problemi di programmazione quadratica con vincoli di disuguaglianza lineari: metodo dell'insieme attivo.

7 maggio 2021 (2 ore) - Metodi SQP. Metodi di penalizzazione, metodo della Lagrangiana aumentata e metodi ADMM.

12 maggio 2021 (2 ore) - Una applicazione: un problema lasso. Metodo del gradiente proiettato, tecniche di scalatura variabile e di scelta del passo.

14 maggio 2021 (2 ore) - Implementazione del metodo del gradiente proiettato per problemi quadratici con vincoli box. Una applicazione: la metodologia delle Support Vector Machines: caso di classi linearmente separabili e debolmente linearmente separabili.

19 maggio 2021 (2 ore) -  SVM per classi con separazione non lineare nella classificazione binaria. Implementazione per classificazione binaria SVM. Classificazione multiclasse,

21 maggio 2021 (2 ore) - Regressione lineare e non lineare con SVM. Tecniche di decomposizione in ambito SVM e software disponibile. Esempi di applicazioni.  Introduzione alle reti neurali. Metodi di ottimizzazione stocastica: motivazioni del loro uso e problematiche connesse.

24 maggio 2021 (2 ore) - Introduzione alle reti neurali e all'ottimizzazione stocastica