Model Discovery of Partial Differential Equations - Archive ouverte HAL Access content directly
Theses Year : 2021

Model Discovery of Partial Differential Equations

Découverte de modèles d'équations aux dérivées partielles

(1)
1

Abstract

Model discovery aims at autonomously discovering equations underlying a dataset. It is often approached as a sparse regression problem, selecting terms and constructing the unknown equation from a set of candidate feautures. In the case of partial differential equations, these features consist of higher-order derivatives, which are calculated using numerical differentiation. This makes it challenging to accurately calculate the candidate feature in experimental data, which is noisy and sparse. In this thesis we develop a neural network-based model discovery method, with a focus on discovering partial differential equations from noisy and sparse data. The foundation of our approach is a neural network which interpolates and denoises the data, and constrain the network to a given equation - a model known as physics informed neural networks. Simultaneously, we employ sparse regression to learn this constraining equation as the neural network is trained, yielding the underlying model. In the first part of this thesis we show that such an approach significantly improves the robustness of model discovery compared to unconstrained neural networks or other model discovery approaches. Improving on this, in the second part we present a modular framework, showing how these constrained networks can utilize any sparse regression algorithm. In the third part, we build upon the first two parts to achieve a fully differentiable model discovery algorithm by constraining a neural network with Sparse Bayesian Learning. Additionally, we introduce Conditional Normalizing Flows and show how they can be used to infer time-dependent probability distributions. Taken together, our work shows the importance of accurately modelling data for model discovery, and strongly establishes the argument for physics-constrained, neural network-based surrogates for model discovery of PDEs on experimental data.
La découverte de modèles autonome vise à découvrir des équations différentielles à base d'un ensemble de données. Elle est souvent abordée comme un problème de régression éparse, en sélectionnant les termes active et en construisant l'équation inconnue à partir d'un ensemble de contributions candidates.Dans le cas des équations différentielles partielles typiquement consistent de dérivées d'ordre supérieur, qui sont calculées à l'aide de la différentiation numérique. Il est donc difficile de calculer les candidates avec précision pour des données expérimentales, qui sont souvent bruyantes et éparses. Dans cette thèse, nous développons une méthode de découverte de modèles basée sur les réseaux de neurones. La base de notre approche est un réseau neuronal qui interpole et débruite les données, et contraint le réseau à une équation donnée - un modèle connu sous le nom de réseaux neuronaux informés de la physique (Physics Informed Neural Networks:PINNS). Simultanément, nous utilisons la régression éparse pour apprendre cette équation contraignante au fur et à mesure de l'entraînement du réseau neuronal, ce qui permet d'obtenir le modèle sous-jacent. Dans la première partie de cette thèse, nous montrons qu'une telle approche améliore considérablement la robustesse de la découverte de modèles par rapport aux réseaux neuronaux non contraints ou à d'autres approches de découverte de modèles. Dans la deuxième partie, nous présentons un cadre modulaire, montrant comment ces réseaux contraints peuvent utiliser n'importe quel algorithme de régression éparse. Dans la troisième partie, nous nous appuyons sur les deux premières parties pour réaliser un algorithme de découverte de modèle entièrement différentiable en contraignant un réseau neuronal avec un apprentissage bayésien éparse. De plus, nous introduisons les flux de normalisation conditionnels (Normalizing flows) et montrons comment ils peuvent être utilisés pour déduire des distributions de probabilité dépendant du temps. Dans l'ensemble, notre travail montre l'importance d'une modélisation précise des données pour la découverte de modèles, et renforce l'argument en faveur de substituts de réseaux neuronaux contraints par la physique pour la découverte des équations différentielles a base de données expérimentales.
Fichier principal
Vignette du fichier
InstitutCURIE_GertJanBOTH_2021.pdf (3.79 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03604486 , version 1 (10-03-2022)

Identifiers

  • HAL Id : tel-03604486 , version 1

Cite

Gert-Jan Both. Model Discovery of Partial Differential Equations. Machine Learning [stat.ML]. Université Paris sciences et lettres, 2021. English. ⟨NNT : 2021UPSLS088⟩. ⟨tel-03604486⟩
80 View
44 Download

Share

Gmail Facebook Twitter LinkedIn More