Executive Summary
L’optimisation est depuis longtemps un pilier des sciences appliquées – de la logistique à la finance, en passant par la planification industrielle.
Les enjeux métiers sont nombreux: minimiser les coûts de transport, maximiser l’utilisation des capacités de production, équilibrer des portefeuilles financiers, ou encore gérer des contraintes complexes dans les chaînes logistiques.
Toutefois, ces projets demandent des modèles mathématiques spécifiques, une expertise pointue et l’utilisation d’outils souvent complexes et spécialisés, ce qui génère des coûts importants en temps et ressources humaines.
L’arrivée des grands modèles de langage (LLMs) bouleverse ce paysage. Ces modèles ne se contentent plus de générer du texte ou du code : ils deviennent des agents de modélisation, capables de comprendre un besoin exprimé en langage naturel, de le transformer en modèle mathématique, et de produire des solutions exploitables par des solveurs classiques ou hybrides.
Ce billet explore :
- La manière dont les LLMs complètent, accélèrent et transforment l’optimisation classique.
- Les architectures actuelles permettant l’automatisation de bout en bout.
- L’importance des prompts pour guider la modélisation par IA
- Les défis, limites et perspectives de cette approche émergente.
1. Modéliser l’optimisation : de la formalisation mathématique aux LLMs
L’optimisation mathématique s’est construite sur des décennies de formalisation rigoureuse. Les contributions de Gill, Murray et Wright (2019) ont consolidé les algorithmes d’optimisation non linéaire, tandis que Boyd et Vandenberghe (2004) ont posé les bases du raisonnement convexe dans un cadre d’application.
Avec la montée du machine learning dans les années 2010, l’optimisation a changé d’échelle. Bottou, Curtis et Nocedal (2018) ont montré comment elle devient le moteur principal de calcul des systèmes d’apprentissage: réglage de millions de paramètres, sous contraintes parfois implicites.
Or, formuler un problème d’optimisation reste une tâche exigeante, même pour les experts. Elle implique :
- Une analyse structurelle du problème (quelles sont les décisions à prendre ? quelles contraintes s’appliquent ?),
- Sa traduction formelle en variables, contraintes et fonction objectif,
- L’implémentation dans un langage compatible avec un solveur.
Les LLMs comme GPT-4, Claude 3 ou LLaMA changent ce paradigme. En combinant compréhension du langage naturel, génération de code et raisonnement logique, ils permettent une modélisation assistée à la fois rapide, pédagogique et (parfois) robuste.
Des travaux comme NL4Opt (Ramamonjison et al., 2022) ou OptiMUS (AhmadiTeshnizi et al., 2024) montrent que l’on peut passer d’une simple phrase descriptive à un modèle mathématique exploitable, tout en conservant lisibilité et explicabilité.
2. L’apport des LLMs à l’optimisation
Les LLMs apportent trois contributions clés à la chaîne de valeur de l’optimisation:
2.1 Accessibilité: de l’expert au citoyen
Formuler un problème comme de la programmation linéaire (LP) ou programmation linéaire en nombres entiers mixtes (MILP) demandait autrefois une maîtrise d’outils comme Pyomo, AMPL, ou Gurobi. Désormais, un utilisateur peut simplement décrire:
“Je veux minimiser le coût d’une tournée entre 10 villes, sans dépasser 8h de trajet par jour.”
… et obtenir un code structuré, commenté, prêt à résoudre.
Ce niveau d’abstraction réduit considérablement la barrière à l’entrée, rendant l’optimisation accessible même aux non-spécialistes.
2.2 Raisonnement automatisé
Les LLMs sont de plus en plus capables de raisonner sur la structure du problème:
- Détection d’incohérences logiques ou d’omissions (ex. : contraintes de temps oubliées),
- Réécriture de la formulation pour en améliorer l’efficacité ou la convexité,
- Évaluation de la complexité combinatoire (NP-hard ou non, linéarisation possible, etc.).
Des architectures comme Chain-of-Agents ( Zhang et al., 2024) permettent à plusieurs agents LLM de collaborer sur une même tâche d’optimisation, avec vérification croisée des étapes critiques.
2.3 Explicabilité : le code devient une narration
Un modèle généré par un LLM peut être commenté, justifié, expliqué. Ce n’est plus une boîte noire. Chaque variable, contrainte ou paramètre est mis en relation avec les objectifs du métier. C’est un outil de formation autant que d’automatisation.
Ainsi, un modèle devient un document vivant, explicatif, que l’on peut partager, réviser ou enseigner.
3. Pipeline IA pour l’optimisation : du langage naturel à la solution
Voici le pipeline typique d’une résolution d’optimisation assistée par LLM:
Étape 1 : Formulation
L’utilisateur décrit son problème :
“Une flotte de 5 camions doit livrer 20 clients dans la journée. Chaque camion a une capacité de 100 unités. Le temps de trajet entre les clients est donné par une matrice de distances.”
Le LLM analyse cette entrée, identifie les entités clés (camions, clients, capacités), propose des variables (assignation, flux, temps), et génère un modèle Pyomo, commenté et prêt à l’emploi.
Étape 2 : Résolution hybride
Le modèle est résolu par un solveur :
- Open-source : CBC, GLPK, HiGHS ;
- Commercial : Gurobi, CPLEX.
Le LLM peut détecter des erreurs (contraintes mal posées, modèles non réalisables), ajuster les formulations, voire proposer une reformulation plus efficace — par exemple, en passant de la formulation de Miller–Tucker–Zemlin (MTZ) à celle de Dantzig–Fulkerson–Johnson (DFJ) pour le problème du voyageur de commerce (TSP).
Étape 3 : Analyse et interprétation
Le solveur donne des résultats bruts: valeurs des variables, coût objectif, contraintes actives.
Le LLM transforme ces données en un rapport interprétable :
- “Le camion 1 livre les clients 2, 4 et 7 en 6h15.”
- “Le coût total de transport est de 1 840 €, en baisse de 12 % par rapport au plan initial.”
Cette phase est critique pour l’aide à la décision.
4. L’importance des prompts pour guider la modélisation par IA
Les grands modèles de langage ne produisent pas des modèles d’optimisation magiquement: ils ont besoin d’instructions claires et structurées, appelées prompts, pour traduire un besoin métier en formulations mathématiques exploitables.
La qualité du prompt conditionne la pertinence du modèle généré, sa robustesse, et la facilité de correction ou d’extension.
Exemples de prompts courants
- Manager Prompt: détermine quel agent (formulateur, programmeur, évaluateur) doit intervenir ensuite selon l’avancement.
- Formulation Prompt: demande de générer la formulation mathématique d’une contrainte ou fonction objectif en LaTeX et JSON.
- Code Generation Prompt: sollicite la génération du code de modélisation dans un langage de solveur (ex : Pyomo, Gurobi, CBC).
- Debugging Prompt: pour corriger une formulation ou un code présentant une erreur.
Exemple de prompt enrichi au format YAML
Voici un exemple type de prompt adressé à un agent expert en programmation pour coder une contrainte dans un modèle d’optimisation utilisant le solveur open-source CBC :
5. Vers des agents d’optimisation autonomes
À l’horizon 2026–2030, nous pouvons envisager des agents multi-LLMs spécialisés:
- Un agent de compréhension métier: structurer le problème exprimé en langage naturel,
- Un agent de modélisation: proposer plusieurs formulations (LP, MILP, heuristique),
- Un agent de résolution: choisir entre solveur exact ou heuristique, paralléliser les calculs,
- Un agent d’interprétation: expliquer, interpréter les étapes de résolutions, mettre à jour et donner du feed-back en temps réel à l’agent de résolution.
Le solveur est un outil auquel certains agents ont accès et peuvent appeler.
Ce cadre permettrait une optimisation interactive, itérative et intelligible (comme l’illustre l’image suivante) intégrée dans des environnements métiers (ERP, plateformes d’optimisation industrielle, outils éducatifs…).
6. Défis, limites et perspectives
Fiabilité et robustesse
Les LLMs sont puissants mais pas infaillibles. Un modèle généré automatiquement peut contenir des erreurs logiques (contradictions, incohérences) ou syntaxiques. Des validations intermédiaires restent essentielles, surtout pour des systèmes critiques (santé, aviation, etc.).
Scalabilité et performance
Les solveurs exacts comme CBC deviennent rapidement inefficaces au-delà de certaines tailles de problème. L’intégration de métaheuristiques pilotées par IA (recherche tabou, génétique, recuit simulé) est une piste prometteuse.
Des travaux tels que Neural Network-Guided Optimization of Dynamic Systems for Aerospace Parameter Estimation (John et al., 2025) et Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Models (Liu et al., 2024) montrent que les réseaux de neurones génératifs ou les modèles de langage de grande taille (LLMs) peuvent aider à produire rapidement des solutions proches de l’optimum.
Éthique et transparence
Automatiser la modélisation mathématique implique des risques :
- Une mauvaise formulation peut produire une solution “optimale” mais contraire aux objectifs réels (par ex. : optimisation des coûts au détriment de l’équité).
- La transparence des hypothèses devient un enjeu clé.
Conclusion
Les grands modèles de langage ne se contentent plus d’assister les humains: ils deviennent de véritables intermédiaires cognitifs entre la formulation informelle d’un problème et sa résolution mathématique.
L’optimisation – longtemps domaine réservé des experts – devient ainsi interactive, pédagogique et accessible. De l’enseignement à la supply chain, en passant par l’urbanisme ou la finance, les cas d’usage sont immenses.
Dans ce nouveau paradigme, l’humain reste au centre : pour poser les bonnes questions, vérifier les hypothèses, interpréter les résultats. Mais l’IA amplifie la capacité à transformer les intentions en solutions.
Bibliographie
- Bottou, L., Curtis, F. E., & Nocedal, J. (2018). Optimization methods for large-scale machine learning. SIAM Review.
- Boyd, S., & Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press.
- Gill, P. E., Murray, W., & Wright, M. H. (2019). Practical Optimization. Academic Press.
- Ramamonjison, Rindranirina, et al. (2022). NL4Opt Competition: Formulating Optimization Problems Based on Their Natural Language Descriptions. Proceedings of the NeurIPS 2022 Competitions Track (PMLR Vol. 220), pp. 189–203. https://proceedings.mlr.press/v220/ramamonjison23a.html
- AhmadiTeshnizi, Ali, Gao, Wenzhi & Udell, Madeleine. OptiMUS: Scalable Optimization Modeling with (MI)LP Solvers and Large Language Models. ICML 2024.
- Zhang, Bowen & Luo, Pengcheng (2025). OR-LLM-Agent: Automating Modeling and Solving of Operations Research Optimization Problems with Reasoning Large Language Models
- Zhang, Yusen, Sun, Ruoxi, Chen, Yanfei, Pfister, Tomas, Zhang, Rui, & Arik, Sercan Ö. (2024). Chain of Agents: Large Language Models Collaborating on Long-Context Tasks. NeurIPS 2024.
- John, H.V., Mukundan, M., & Karthikeyan, D. (2025). Neural network-guided optimization of dynamic systems for aerospace parameter estimation. Neural Computing and Applications, 37(12), 1–15. https://doi.org/10.1007/s00521-025-11307-1
- Liu, F., Tong, X., Yuan, M., Lin, X., Luo, F., Wang, Z., Lu, Z., & Zhang, Q. (2024). Evolution of heuristics: Towards efficient automatic algorithm design using large language models. arXiv. https://arxiv.org/abs/2401.02051
