Contributions to data-driven Bayesian solutions to inverse problems : from classical multivariate statistics to modern generative neural networks

Les problèmes inverses, qui consistent à déduire des causes non-observables à partir d'effets observés, sont souvent mal posés dans la mesure où les solutions peuvent être non uniques et instables. L'inférence Bayésienne quantifie cette incertitude à travers la distribution à posteriori, mais dans les espaces de haute dimension, elle s'avère souvent peu pratique : l'exploration de la distribution à posteriori dépend de la connaissance de la fonction de vraisemblance, ce qui nécessite généralement autant d'appels aux modèles de simulation, dont les coûts de calcul peuvent être limitants. Cette thèse développe deux méthodologies basées sur les données qui transfèrent cette charge de calcul vers une étape d'apprentissage hors ligne utilisant des ensembles de données d'entrée-sortie synthétiques existants, de sorte que l'inférence puisse généralement être effectuée sans évaluations répétées du solveur direct, tout en autorisant un nombre limité d'appels au modèle direct pour la calibration ou le diagnostic.<br>La première contribution présente un cadre d'inversion probabiliste basé sur l'analyse des corrélations canoniques régularisée (RCCA). La propagation des à priori Gaussiens des entrées et du bruit via les transformations et corrélations RCCA permet d'obtenir des à posteriori Gaussiens dans l'espace canonique complet ainsi que dans l'espace d'entrée d'origine. Pour les modèles directs linéaires dans un régime de réduction de dimension saturé, cette distribution à posteriori correspond à la solution Bayésienne analytique (avec substitution des covariances par leur estimations). La régularisation rend la méthode robuste face à une variance de bruit inconnue, et nous fournissons des recommandations empiriques pour le choix de ses paramètres.<br>La deuxième contribution est FastABC, une méthode d'inférence basée sur la simulation et ne faisant pas appel à la fonction de vraisemblance. FastABC utilise un auto-encodeur multimodal de Sinkhorn (jSAE) pour apprendre une représentation latente de faible dimension de la relation conjointe entrée-sortie, remplaçant ainsi le solveur direct au moment de l'inférence. L'approximation de la distribution à posteriori est ensuite réalisée à l'aide du calcul Bayésien approximatif (ABC) séquentiel par échantillonnage dans l'espace latent via Subset Simulation (SuS), ce qui permet une inférence amortie sans vraisemblance explicite ni modèle de bruit paramétrique.<br>Dans ces deux contributions, nous mettons l'accent sur des diagnostics et l'évaluation tout au long du développement des méthodes. Au-delà des mesures d'erreur ponctuelles, nous utilisons les règles de score propres, adaptées aux prédictions probabilistes multivariées. Nous validons les méthodes proposées sur la tomographie géophysique dans des contextes à la fois linéaires et légèrement non linéaires, et nous évaluons en outre FastABC sur la génération conditionnelle d'images. Les résultats illustrent un comportement robuste pour tous les niveaux de bruit et degrés de non-linéarité testés, et démontrent comment les réseaux neuronaux génératifs modernes ainsi que les statistiques multivariées peuvent rendre l'inférence Bayésienne applicable à des problèmes inverses complexes en haute dimension.

Abstract: Inverse problems, inferring hidden causes from observed effects, are often ill-posed in that solutions may be non-unique and unstable. Bayesian inference offers a principled way to quantify this uncertainty through the posterior distribution, but in high dimensions it is frequently impractical: exploring the posterior depends on knowing the likelihood function, typically requiring as many calls to forward models, which computational costs can be limiting. This thesis develops two data-driven methodologies that shift this computational burden to an offline learning stage using existing synthetic input-output datasets so that inference can typically be carried out without repeated forward-solver evaluations, while allowing limited forward calls when needed for tuning, calibration, or diagnostics.<br>The first contribution introduces a probabilistic inversion framework built on Regularized Canonical Correlation Analysis (RCCA). Propagating Gaussian input and noise priors through RCCA transformations and correlations yields closed-form Gaussian posteriors in the canonical space, retaining components typically discarded, and in the original input space. For linear forward models in a saturated dimension reduction regime, this posterior matches the analytical Bayesian solution (with plug-in covariance estimates). Tunable regularization makes the method robust to unknown noise variance, and we provide empirical guidance for selecting its parameters.<br>The second contribution is FastABC, a likelihood-free simulation-based inference method. FastABC uses a joint Sinkhorn Auto-Encoder (jSAE) to learn a low-dimensional latent representation of the joint input-output relationship, effectively replacing the forward solver with a learned surrogate at inference time. Posterior approximation is then performed with sequential Approximate Bayesian Computation (ABC) by sampling in the latent space via Subset Simulation (SuS), enabling amortized inference without an explicit likelihood or a parametric noise model. A limited number of forward evaluations may nevertheless be needed to assess surrogate error and calibrate the resulting approximate posteriors.<br>Across both contributions, we emphasize rigorous diagnostics and evaluation throughout method development. Beyond pointwise error measures, we employ proper scoring rules tailored to multivariate probabilistic predictions. We validate the proposed methods on geophysical travel-time tomography in both linear and slightly nonlinear settings, and we additionally evaluate FastABC on conditional image generation. Results illustrate robust behavior across the tested noise levels and degrees of nonlinearity in these tests, and demonstrate how modern generative neural networks as well as multivariate statistics can make Bayesian inference for inverse problems feasible for complex high-dimensional problems.