Ottimizzazione basata su surrogati — Progettazione assistita da metamodelli
- Introdotto da
- Sacks, Welch, Mitchell & Wynn (computer experiments framework, 1989); Kriging popularised by Matheron (1963)
- Anno
- 1989 (computer experiments formulation)
- Tipo
- Metamodel-assisted black-box optimization
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'ottimizzazione basata su surrogati, formalizzata nel quadro degli esperimenti computazionali di Sacks et al. (1989) e resa popolare per l'ingegneria da Forrester et al. (2008), sostituisce una simulazione o un esperimento fisico proibitivamente costoso con un modello approssimato a basso costo — chiamato surrogato o metamodello — e ottimizza quest'ultimo.
Il surrogato è tipicamente un Kriging (Processo Gaussiano), una Funzione a Base Radiale o una superficie di risposta polinomiale, adattato a un piccolo insieme di valutazioni di progetto attentamente scelte e aggiornato periodicamente man mano che la ricerca progredisce.
L’intuizione alla base del metodo
Immaginate che ogni volta che volete testare una nuova forma di ala di aeromobile dobbiate eseguire una simulazione completa di fluidodinamica computazionale (CFD) che richiede 48 ore. Eseguire migliaia di tali valutazioni per trovare la forma migliore è impossibile. L'ottimizzazione basata su surrogati aggira questo problema eseguendo prima un piccolo lotto di simulazioni in punti di progetto ben distribuiti, adattando un rapido sostituto matematico (il surrogato) che predice le prestazioni per qualsiasi progetto non testato in pochi secondi, ottimizzando tale sostituto e quindi selezionando strategicamente il nuovo progetto più promettente da simulare effettivamente. Il surrogato diventa più intelligente con ogni nuovo dato aggiunto e, infine, il costoso simulatore viene chiamato solo dove è veramente necessario.
Storia
Le fondamenta statistiche sono state poste da Sacks, Welch, Mitchell e Wynn nel loro articolo fondamentale del 1989 "Design and Analysis of Computer Experiments" (Statistical Science), che ha introdotto il quadro Kriging per emulare codici computazionali deterministici. Il Kriging stesso risale al lavoro di geostatistica di Georges Matheron negli anni '60. L'approccio è stato sistematizzato per l'ottimizzazione della progettazione ingegneristica da Forrester, Sobester e Keane nella loro monografia Wiley del 2008, che ha stabilito il Campionamento Latin Hypercube, la validazione incrociata e l'infill basato sul miglioramento atteso come pipeline standard. Da allora, il campo si è ampliato per includere surrogati multifidelità, ottimizzazione bayesiana (una formulazione probabilistica strettamente correlata) e surrogati di deep learning per problemi ad altissima dimensionalità.
Quando usarlo
L'ottimizzazione basata su surrogati è la scelta giusta quando la funzione obiettivo vera è così costosa da valutare — tramite CFD, analisi agli elementi finiti, esperimenti di laboratorio o simulazioni multiphysics — che solo decine o poche centinaia di valutazioni sono accessibili. Il metodo richiede che la risposta vera sia sufficientemente liscia affinché un surrogato possa approssimarla; funzioni altamente discontinue o stocastiche potrebbero richiedere surrogati specializzati o tecniche di riduzione della varianza. Lo spazio di progettazione dovrebbe essere continuo. Un disegno iniziale che riempie lo spazio (Campionamento Latin Hypercube) e la validazione incrociata obbligatoria del surrogato sono prerequisiti non negoziabili.
Limiti e considerazioni
- L'accuratezza del surrogato degrada in spazi ad alta dimensionalità (la maledizione della dimensionalità); tipicamente praticabile fino a circa 20-50 variabili di progetto senza riduzione della dimensionalità.
- Se la funzione vera è altamente discontinua o multimodale, il surrogato potrebbe rappresentarla erroneamente e guidare l'ottimizzatore verso un falso ottimo.
- Il budget di addestramento iniziale deve essere impostato attentamente; pochi punti producono un surrogato scadente, troppi vanificano lo scopo di evitare valutazioni costose.
- L'adattamento Kriging e l'ottimizzazione della funzione di acquisizione aggiungono un overhead computazionale che cresce con la dimensione del set di addestramento.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce drasticamente il numero di valutazioni vere e costose necessarie per trovare un progetto quasi ottimale.
- I surrogati Kriging forniscono stime di incertezza che abilitano strategie di infill basate su principi come il miglioramento atteso.
- Funziona su problemi black-box dove non sono disponibili informazioni sul gradiente.
- Applicabile in ingegneria, scienza e qualsiasi dominio in cui il costo della simulazione domina.
- Il surrogato riutilizzabile può rispondere a molteplici domande di progettazione senza ulteriori valutazioni vere.
Applicazioni
- Ottimizzazione della forma aerodinamica di ali di aeromobili e pale di turbine utilizzando simulazioni CFD.
- Ottimizzazione strutturale in analisi agli elementi finiti dove ogni simulazione richiede ore.
- Progettazione di crashworthiness e NVH (rumore, vibrazione, durezza) automobilistica con budget di valutazione limitati.
- Progettazione di processi chimici e reattori dove gli esperimenti fisici sono costosi e lenti.
- Tuning degli iperparametri nell'apprendimento automatico quando l'addestramento di un modello è esso stesso costoso.
- Sviluppo di formulazioni farmaceutiche e progettazione di studi clinici.
Come funziona
Come funziona
Viene utilizzato un disegno sperimentale che riempie lo spazio — più comunemente il Campionamento Latin Hypercube — per posizionare un insieme iniziale di punti di progetto nell'intero spazio fattibile. L'obiettivo è la massima diffusione in modo che il surrogato possa essere addestrato con un bias minimo verso qualsiasi regione.
Ciascun punto di progetto iniziale viene passato al vero valutatore costoso: un risolutore CFD, un'analisi agli elementi finiti, un test su prototipo fisico o qualsiasi altra funzione ad alta fedeltà. Questo passaggio è il collo di bottiglia computazionale; il suo output forma il set di addestramento per il surrogato.
Viene adattato un modello surrogato — Kriging, Funzione a Base Radiale, superficie di risposta polinomiale o rete neurale — ai dati di addestramento. Il Kriging è preferito nella progettazione ingegneristica perché fornisce non solo una predizione ma anche una stima quantificata dell'incertezza in ogni punto non visitato.
L'adattamento del surrogato viene verificato tramite validazione incrociata o confrontando le predizioni del surrogato in un set di punti di test tenuti da parte con le valutazioni reali. Metriche come R-quadro, RMSE e errore assoluto massimo indicano se il surrogato rappresenta la funzione vera abbastanza bene da guidare l'ottimizzazione. Se la validazione fallisce, vengono aggiunti punti di addestramento aggiuntivi.
Un ottimizzatore a basso costo — basato su gradiente o evolutivo — cerca nell'adattamento del surrogato l'ottimo. Poiché la valutazione del surrogato costa quasi nulla, migliaia di soluzioni candidate possono essere valutate in pochi secondi.
Il progetto previsto come ottimale (o più informativo, secondo i criteri di miglioramento atteso) viene restituito al valutatore costoso. La sua risposta vera viene aggiunta al set di addestramento e il surrogato viene riadattato. Questo ciclo continua fino a quando non viene soddisfatto un criterio di arresto — budget, convergenza o obiettivo di accuratezza.
Errori comuni
- Saltare la validazione incrociata del surrogato è l'errore più comune: un surrogato che si adatta male ingannerà sistematicamente l'ottimizzatore.
- Usare un disegno iniziale casuale uniforme invece di un Latin Hypercube che riempie lo spazio lascia regioni dello spazio di progettazione scarsamente coperte, creando punti ciechi nel surrogato.
- Applicare il metodo a problemi con risposte stocastiche (simulazioni rumorose o esperimenti fisici) senza tener conto del rumore nel modello surrogato porta a un overfitting al rumore piuttosto che alla vera tendenza.
- Interrompere il ciclo di aggiornamento troppo presto — prima che il surrogato sia convergente — può significare che l'ottimo riportato è un artefatto del surrogato piuttosto che un vero miglioramento del progetto.
Domande frequenti
Quale tipo di surrogato dovrei scegliere — Kriging, RBF o polinomiale?
Il Kriging (Processo Gaussiano) è l'impostazione predefinita per la progettazione ingegneristica perché fornisce sia una predizione che una stima puntuale dell'incertezza, abilitando strategie di infill basate su principi come il miglioramento atteso. Le Funzioni a Base Radiale sono computazionalmente più leggere e scalano un po' meglio. Le superfici di risposta polinomiali sono semplici e interpretabili ma faticano con risposte non lineari o multimodali. Iniziare con il Kriging a meno che la dimensionalità o la dimensione del set di addestramento non lo rendano impraticabile.
Di quanti punti di progetto iniziali ho bisogno?
Una regola pratica comune è 10 volte il numero di variabili di progetto per il campione iniziale Latin Hypercube, sebbene ciò dipenda dalla levigatezza della risposta. Le metriche di validazione (R-quadro di validazione incrociata, RMSE) dovrebbero confermare che il surrogato è adeguato prima che l'ottimizzazione proceda. Punti aggiuntivi vengono aggiunti attraverso il ciclo di infill piuttosto che tutti in una volta.
L'ottimizzazione basata su surrogati è la stessa dell'ottimizzazione bayesiana?
Sono strettamente correlate ma non identiche. L'ottimizzazione bayesiana è una forma specifica di ottimizzazione basata su surrogati che utilizza un surrogato di Processo Gaussiano con una funzione di acquisizione probabilistica (come il miglioramento atteso) per selezionare i punti di infill. Il quadro più ampio dell'ottimizzazione basata su surrogati include surrogati non probabilistici (RBF, polinomiali) e altri criteri di infill, quindi l'ottimizzazione bayesiana è un sottoinsieme.
Cosa succede se la mia simulazione è rumorosa anziché deterministica?
Il Kriging standard presuppone una risposta deterministica. Per simulatori stocastici, un termine di rumore deve essere aggiunto al modello di covarianza Kriging (parametro nugget o Kriging stocastico). Senza questo, il surrogato si adatterà eccessivamente al rumore piuttosto che alla vera tendenza e l'ottimizzatore verrà fuorviato.
Metodi correlati
Fonti
Forrester, A., Sobester, A., & Keane, A. (2008). Engineering Design via Surrogate Modelling: A Practical Guide. Wiley.
Apri il riferimento della pubblicazioneCopiato.Sacks, J., Welch, W. J., Mitchell, T. J., & Wynn, H. P. (1989). Design and Analysis of Computer Experiments. Statistical Science, 4(4), 409-423.
Apri il riferimento DOICopiato.