Deep reinforcement learning in a cognitive architecture for naval mission support
Apprentissage par renforcement profond dans une architecture cognitive pour l'aide à la conduite de missions navales
Résumé
Information analysis related to a ship and its environment is required in order to make the appropriate decisions during naval missions. However, human capabilities are no longer sufficient to reliably and rapidly apply methodologies at their disposal in an uncertain and time-constrained environment. Decision-makers face with uncertain situations where they lack time and resources. To deal with this situation, the design and the development of a decision support system would make it possible, thanks to the combination of cognitive sciences and the computing power of modern IT resources, to reduce the time required (1) to analyse the situation and (2) to select an appropriate action for the situation. The Phd work is based on a decision-making method from Natural Decision Making (NDM) called Recognition Primed Decision (RPD), used for emergency decision-making. My proposal is therefore to formalize a decision support system and more specifically a cognitive architecture based on RPD and capable of reacting in a dynamic environment with novel situations. The design of the aid will be inspired by the cognitive architecture of Kunde et Darken and will be based on deep reinforcement learning.
La conduite de missions de la Marine Nationale nécessite d’intégrer simultanément un bon nombre d’informations relatives au navire et à l’environnement dans lequel il évolue. L’organe de commandement d’un navire analyse ces informations afin de prendre les décisions adaptées à la situation pour mener à bien la mission. Cependant, les capacités humaines soumises à leurs propres limites ne sont plus suffisantes pour appliquer de manière adéquate et rapide les méthodologies mises à leur disposition dans un environnement incertain et contraint par le temps. Pour faire face à cette situation, la conception et le développement d’un système d’aide à la décision permettrait grâce à la combinaison des sciences cognitives et de la puissance de calcul des moyens informatiques modernes de réduire les temps (1) d’analyse de la situation et (2) de sélection d’une action appropriée à la situation. Les travaux de thèse vont ainsi se fonder sur une méthode de prise de décision issue du Natural Decision Making appelée Recognition Primed Decision (RPD), utilisée pour la prise de décision dans l’urgence. L’objet de cette thèse a donc été de formaliser un système d’aide à la décision et plus particulièrement une architecture cognitive fondée sur le RPD et capable de réagir dans un environnement dynamique avec des situations inédites. La conception de l’aide s’est inspirée de l’architecture cognitive de Kunde et Darken et s’est appuyée sur l’apprentissage par renforcement profond.
Origine : Version validée par le jury (STAR)