Design and operation management of oil-fields taking into account partially observed uncertainties
Conception et gestion de l'exploitation des champs pétroliers en tenant compte des incertitudes liées aux observations partielles
Résumé
The operation management of oil-fields consists in piloting an oil production network – composed of a reservoir (geological formation containing hydrocarbons), wells and pipes coupling those wells – in order to produce some hydrocarbons. A key particularity of management of oil-fields is that, at the beginning of the reservoir exploitation, we have only partial knowledge of the content of the reservoir, namely a probability distribution of its initial state. Then, we obtain more and more information on the content of the reservoir as it depletes, i.e as we apply controls. The aim of this thesis is to manage an oil field while taking into account this key particularity.First, we propose a new formulation of the management of an oil production network problem for the fully observed case. The proposed model differs from common practices where the reservoir of the oil production network is approximated by decline curves or by black-box simulators. We model the reservoir as a controlled (non-linear) dynamical system by using material balance equations, under the assumption that the fluids follow a black-oil model and that the reservoir has a tank-like behavior. The state of the dynamical system has five dimensions: the total volume of respectively oil, gas, and water in the reservoir; the total pore volume; and the reservoir pressure. We use a dynamic programming algorithm to numerically solve the multistage optimization problem on two specific instances of the general optimization problem where the state dimension can be reduced. More precisely, the first numerical application consists in optimizing the production of a dry gas reservoir which is subdivided in two tanks and which leads to a two-dimensional state (one dimension per tank), whereas the second numerical application tackles an oil reservoir with water injection which leads to a two-dimensional state. The key advantage of our approach is that it handles interconnected tanks and allows for optimization beyond first recovery of oil.Second, we study a class of problems which is of interest for the management of an oil production network problem under partial observation, namely Partially Observed Markov Decision Process (POMDP) optimization problems. More specifically, we improve on results by Littman concerning a subclass of POMDP called Det-POMDP. Det-POMDP are of interest as the size of the sets of reachable states used in dynamic programming algorithms are bounded, be it in the finite or infinite horizon cases. We give improvements of the bounds presented in Littman’s thesis. Then, by adding further conditions on the dynamics and observations, we define a sub-class of Det-POMDP whose bounds are again improved: Separated Det-POMDP. Through this subclass, we are able to further push back the curse of dimensionality. We hence obtain partially observed problems that are tractable by Dynamic Programming algorithms, whereas they are usually solved by approximating the Bellman value functions when considering general POMDPs algorithms.Third, we expand on the fully observed formulation of the management of an oil production network problem in order to take into account the partial observation of the content of the reservoir. This leads to the previously discussed Separated Det-POMDP class. We are therefore able to use Dynamic Programming to find the optimal production planning. We once again numerically solve the partially observed optimization problem on the two cases presented in the fully observed case: a two tanks dry gas reservoir, and an oil reservoir with water injection.
La gestion de l'exploitation des champs pétroliers consiste à piloter un réseau de production pétrolière - composé d'un réservoir (une formation géologique contenant des hydrocarbures), de puits et de oléoducs reliant ces puits - afin de produire des hydrocarbures. Une particularité de la gestion des champs pétroliers est qu'au début de l'exploitation du réservoir, nous n'avons qu'une connaissance partielle du contenu du réservoir, à savoir une distribution de probabilité de son état initial. Ensuite, nous obtenons des informations sur le contenu du réservoir au fur et à mesure qu'il se vide, c'est-à-dire au fur et à mesure que nous appliquons des contrôles. L'objectif de cette thèse est de gérer un champ pétrolier en tenant compte de cette particularité. Dans un premier temps, nous proposons une nouvelle formulation du problème de gestion d'un réseau de production pétrolier pour le cas totalement observé. Le modèle proposé diffère des pratiques courantes où le réservoir est approximé par des courbes de déclin ou par des simulateurs de type boîte-noire. Nous modélisons le réservoir comme un système dynamique contrôlé (non linéaire) en utilisant des équations de bilan de matière, en supposant que les fluides suivent un modèle de black-oil et que le réservoir a un comportement de type “tank”. L'état du système dynamique a cinq dimensions : le volume total de pétrole, de gaz et d'eau dans le réservoir, le volume total des pores et la pression du réservoir. Nous utilisons un algorithme de programmation dynamique pour résoudre numériquement le problème d'optimisation multi-étapes sur deux instances spécifiques où la dimension de l'état peut être réduite. Plus précisément, la première application consiste à optimiser la production d'un réservoir de gaz qui est subdivisé en deux parties, ce qui conduit à un état bidimensionnel (une dimension par partie), tandis que la seconde est l'optimisation d'un réservoir de pétrole avec injection d'eau, ce qui conduit à un état bidimensionnel. Le principal avantage de notre approche est qu'elle permet de traiter des cas avec des réservoirs interconnectés et de la réinjection de fluides. Deuxièmement, nous étudions une classe de problèmes d'intérêt pour la gestion d'un problème de réseau de production pétrolière sous observation partielle, à savoir les problèmes d'optimisation par processus de décision de Markov partiellement observés (POMDP). Plus précisément, nous améliorons les résultats de Littman concernant une sous-classe de POMDP appelée Det-POMDP. L'intérêt des Det-POMDP est que la taille des ensembles d'états atteignables utilisés dans les algorithmes de programmation dynamique est bornée. Nous donnons des améliorations des limites présentées par Littman. Ensuite, en ajoutant des conditions supplémentaires sur la dynamique et les observations, nous définissons une sous-classe de Det-POMDP dont les limites sont encore améliorées : les Det-POMDPs séparé. Grâce à cette sous-classe, nous sommes en mesure de repousser davantage la malédiction de la dimensionnalité. Nous obtenons ainsi des problèmes partiellement observés qui sont traitables par des algorithmes de programmation dynamique, alors qu'ils sont généralement résolus par approximation des fonctions de valeur de Bellman lorsque l'on considère les algorithmes généraux de POMDPs. Troisièmement, nous élargissons la formulation totalement observée du problème de gestion d'un réseau de production de pétrole afin de prendre en compte l'observation partielle du contenu du réservoir. Ceci conduit à la classe de Pomdp Dét Détachée précédemment discutée. Nous sommes donc en mesure d'utiliser la Programmation Dynamique pour trouver la planification optimale de la production. Nous résolvons à nouveau numériquement le problème d'optimisation partiellement observé sur les deux cas présentés dans le cas totalement observé : un réservoir de gaz sec à deux réservoirs, et un réservoir de pétrole avec injection d'eau.
Origine : Version validée par le jury (STAR)