Complexity Methods in Physics-Guided Machine Learning
Méthodes de Complexité dans l'Apprentissage Automatique Guidé par la Physique
Résumé
Complexity is easy to recognize but difficult to define: there are a host of measures of complexity, each relevant for a particular application.In Surface engineering, self-organization drives the formation of patterns on matter by femtosecond laser irradiation, which have important biomedical applications. Pattern formation details are not fully understood. In work leading to two publications [1,2], via a complexity argument and a physics-guided machine learning framework, we show that the severely constrained problem of learning the laser-matter interaction with few data and partial physical knowledge is well-posed in this context. Our model allows us to make useful predictions and suggests physical insights.In another contribution [3] we propose a new formulation of the Minimum Description Length principle, defining model and data complexity in a single step, by taking into account signal and noise in training data. Experiments indicate that Neural Network classifiers that generalize well follow this principle.In unpublished work, we propose Taylor entropy, a novel measure of dynamical system complexity which can be estimated via a single SEM image. This approach could facilitate learning the physical process in new materials through domain adaptation.This thesis paves the way for a unified representation of complexity in data and physical knowledge, which can be used in the context of Physics-guided machine learning.[1] Brandao, Eduardo, et al. "Learning PDE to model self-organization of matter." Entropy 24.8 (2022): 1096.[2] Brandao, Eduardo, et al. "Learning Complexity to Guide Light-Induced Self-Organized Nanopatterns." Physical Review Letters 130.22 (2023): 226201.[3] Brandao, Eduardo, et al. "Is My Neural Net Driven by the MDL Principle?." Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Cham: Springer Nature Switzerland, 2023.
La complexité est facile à reconnaître mais difficile à définir : il existe de nombreuses mesures de complexité, chacune pertinente pour une application particulière.Dans le domaine de l'ingénierie des surfaces, l'auto-organisation entraîne la formation de motifs sur la matière par irradiation laser femtoseconde, ce qui a d'importantes applications biomédicales. Les détails de la formation des motifs ne sont pas entièrement compris. Dans des travaux menant à deux publications [1,2], grâce à un argument de complexité et un cadre d'apprentissage automatique guidé par la physique, nous montrons que le problème sévèrement contraint d'apprendre l'interaction laser-matière avec peu de données et une connaissance physique partielle est bien posé dans ce contexte. Notre modèle nous permet de faire des prédictions utiles et suggère des intuitions physiques.Dans une autre contribution [3], nous proposons une nouvelle formulation du principe de la Longueur Minimale de Description, définissant la complexité du modèle et des données en une seule étape, en tenant compte du signal et du bruit dans les données d'entraînement. Les expériences indiquent que les classificateurs de réseaux neuronaux qui généralisent bien suivent ce principe.Dans un travail non publié, nous proposons l'entropie de Taylor, une nouvelle mesure de la complexité des systèmes dynamiques qui peut être estimée via une seule image SEM. Cette approche pourrait faciliter l'apprentissage du processus physique dans de nouveaux matériaux grâce à l'adaptation de domaine.Cette thèse ouvre la voie à une représentation unifiée de la complexité dans les données et la connaissance physique, qui peut être utilisée dans le contexte de l'apprentissage automatique guidé par la physique.[1] Brandao, Eduardo, et al. "Learning PDE to model self-organization of matter." Entropy 24.8 (2022): 1096.[2] Brandao, Eduardo, et al. "Learning Complexity to Guide Light-Induced Self-Organized Nanopatterns." Physical Review Letters 130.22 (2023): 226201.[3] Brandao, Eduardo, et al. "Is My Neural Net Driven by the MDL Principle?." Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Cham: Springer Nature Switzerland, 2023.
Origine : Version validée par le jury (STAR)