Méthodes Linéaires de Régression

Ce document, développé par AiQR Academy, propose une présentation rigoureuse et progressive des méthodes linéaires de régression, qui constituent un pilier fondamental de la modélisation statistique, du machine learning et de la finance quantitative.

Le papier commence par une introduction formelle à la régression linéaire, en posant le cadre mathématique reliant une variable cible continue à un ensemble de variables explicatives. Il introduit ensuite l’algorithme des moindres carrés (Least Mean Squares) et détaille son optimisation via le gradient descent, en dérivant explicitement les gradients et en discutant les variantes pratiques : batch, stochastic et mini-batch gradient descent.

Une solution analytique est ensuite présentée à travers les équations normales, permettant de résoudre le problème de régression sans recourir à des méthodes itératives. Le document propose également une interprétation probabiliste de la régression linéaire, en montrant que l’estimation des paramètres correspond à un problème de maximum de vraisemblance sous l’hypothèse d’erreurs gaussiennes.

Une section importante est consacrée aux hypothèses statistiques sous-jacentes au modèle linéaire (linéarité, indépendance, homoscédasticité, normalité des erreurs, absence de multicolinéarité), essentielles pour garantir la validité des estimations et des inférences.

Enfin, le papier introduit les méthodes de régularisation (Ridge, Lasso et Elastic Net), expliquant comment elles permettent de contrôler le sur-apprentissage, de stabiliser les estimations et, dans certains cas, de réaliser une sélection de variables. Le document se conclut par un rappel des dérivées matricielles clés, indispensables pour comprendre et dériver les résultats théoriques des modèles linéaires.

Dans l’ensemble, ce chapitre vise à fournir une base théorique solide, indispensable avant d’aborder des modèles plus complexes et non linéaires utilisés en finance quantitative et en machine learning moderne.