Réseaux de neurones formels pour la modélisation, la commande et la classification
Léon Personnaz/Isabelle Rivals
CNRS éditions
PréfaceXI
Avant-proposXIII
RemerciementsXV
Conventions de notationXVII
1 Domaines d'application et exemples d'utilisation des réseaux de neurones formels
1
1.1 Introduction1
1.2 Domaines d'utilisation1
1.2.1 Modélisation statique et dynamique de processus1
1.2.2 Commande de processus4
1.2.3 Classification4
1.3 Réseaux de neurones non bouclés7
1.3.1 Définition du neurone formel7
1.3.2 Définition des réseaux de neurones non bouclés9
1.3.3 Comparaison de modèles polynomiaux et neuronaux14
1.3.4 Exemples de classifieurs neuronaux à deux classes16
1.3.5 Propriétés des réseaux de neurones non bouclés19
1.3.6 Apprentissage des réseaux de neurones non bouclés22
1.4 Réseaux de neurones bouclés25
1.4.1 Définition des réseaux de neurones bouclés25
1.4.2 Exemple de modélisation dynamique27
1.4.3 Exemple de commande de processus31
1.4.4 Propriétés des réseaux de neurones bouclés33
1.4.5 Estimation des paramètres des réseaux de neurones bouclés33
2 Modélisation
37
2.1 Introduction37
2.2 Modélisation statique39
2.2.1 Situation du problème et définitions39
2.2.2 Estimation des paramètres d'un modèle statique linéaire43
2.2.3 Estimation des paramètres d'un modèle statique neuronal50
2.2.4 Estimation des paramètres de réseaux de fonctions70
2.2.5 Exemple illustratif76
2.2.6 Récapitulation78
2.2.7 Intervalles de confiance pour la régression avec un modèle linéaire79
2.2.8 Intervalles de confiance pour la régression avec un modèle non
linéaire88
2.3 Modélisation dynamique97
2.3.1 Introduction97
2.3.2 Modèles dynamiques100
2.3.3 Estimation des paramètres d'un modèle dynamique neuronal107
2.4 Conclusion131
3 Sélection de modèles
133
3.1 Introduction133
3.2 Outils pour la sélection de modèles statiques134
3.2.1 Erreurs quadratiques et estimation de la performance135
3.2.2 Classement des régresseurs par orthogonalisation152
3.2.3 Outils pour l'homologation de modèles candidats158
3.2.4 Tests d'hypothèses162
3.2.5 Illustration178
3.2.6 Récapitulation182
3.3 Procédure pour la sélection d'un modèle182
3.3.1 Sélection d'un modèle linéaire par rapport aux paramètres183
3.3.2 Sélection d'un réseau de neurones186
3.3.3 Exemple récapitulatif sur des données industrielles189
3.4 Sélection de modèles dynamiques196
3.4.1 Outils pour la sélection de modèles dynamiques198
3.4.2 Exemples200
3.5 Conclusion209
4 Commande de processus
213
4.1 Introduction213
4.1.1 Généralités213
4.1.2 Systèmes de commande non adaptatifs/adaptatifs214
4.1.3 Algorithmes d'apprentissage216
4.1.4 Problèmes de commande abordés dans ce chapitre216
4.2 Asservissement de poursuite217
4.2.1 Le modèle du processus219
4.2.2 Position du problème220
4.2.3 Le correcteur par modèle de référence221
4.2.4 Commande par simple bouclage226
4.2.5 Commande avec modèle interne235
4.3 Régulation239
4.3.1 Régulation par retour d'état statique240
4.3.2 Position du problème240
4.3.3 Apprentissage du régulateur242
4.3.4 Exemple-exercice243
4.4 Application au pilotage d'un 4 x 4 autonome247
4.4.1 Introduction au pilotage de robots mobiles247
4.4.2 Pilotage latéral251
4.4.3 Pilotage longitudinal256
4.4.4 Performance globale du système de pilotage257
4.5 Conclusion258
5 Classification
261
5.1 Introduction261
5.2 Classifieur théorique de Bayes266
5.2.1 La relation de Bayes266
5.2.2 Le classifieur de Bayes267
5.2.3 Estimation des densités de probabilités conditionnelles269
5.3 Probabilités a posteriori et régression273
5.4 Classifieurs neuronaux pour deux classes277
5.4.1 Classifieurs probabilistes277
5.4.2 Classifieurs séparateurs définis par un hyperplan284
5.4.3 Classifieurs séparateurs définis par une hypersurface non linéaire296
5.5 Classifieurs neuronaux pour plus de deux classes297
5.5.1 Classifieurs probabilistes297
5.5.2 Classifieurs séparateurs307
5.6 Estimation de la performance309
5.6.1 Classifieur probabiliste309
5.6.2 Classifieur séparateur310
5.7 Exemple récapitulatif312
5.7.1 Classification à l'aide de classifieurs de paires de classes312
5.7.2 Classification à l'aide d'un seul classifieur313
5.7.3 Conclusion316
5.8 Conclusion317
Annexe 1 Notions de probabilités et de statistique
319
A1.1 Événement, probabilité319
A1.2 Variable aléatoire319
A1.3 Fonction de répartition d'une variable aléatoire320
A1.4 Densité de probabilité320
A1.5 Densité de probabilité conditionnelle321
A1.6 Moments d'une variable aléatoire322
A1.6.1 Espérance mathématique d'une variable aléatoire322
A1.6.2 Variance d'une variable aléatoire323
A1.6.3 Matrice de covariance de vecteurs aléatoires324
A1.7 Échantillon aléatoire325
A1.8 Estimation d'un paramètre inconnu d'une distribution325
A1.8.1 Estimation ponctuelle d'un paramètre325
A1.8.2 Estimation par intervalle328
A1.8.3 Estimateur du maximum de vraisemblance329
A1.9 Définition d'un test d'hypothèse332
A1.10 Densités de probabilité utiles en Statistique333
A1.10.1 Densité de probabilité uniforme333
A1.10.2 Densité de probabilité gaussienne334
A1.10.3 Densité de probabilité de Pearson335
A1.10.4 Densité de probabilité de Student et intervalles de confiance337
A1.10.5 Densité de probabilité de Fisher-Snedecor et tests d'hypothèses338
Annexe 2 Algorithmes pour l'estimation d'une régression
347
A2.1 Ingrédients pour établir les algorithmes347
A2.1.1 Notations347
A2.1.2 Vecteur gradient du coût par rapport aux paramètres348
A2.1.3 Matrice hessienne du coût par rapport aux paramètres350
A2.1.4 Calcul des éléments des matrices jacobiennes pour un RNF351
A2.1.5 Factorisation de Cholesky353
A2.1.6 Factorisation LU (par matrices triangulaires basse et haute)354
A2.1.7 Factorisation QR (matrice orthonormale et matrice triangulaire
supérieure)355
A2.1.8 Factorisation SVD (avec les valeurs singulières)356
A2.1.9 Matrice pseudo-inverse358
A2.2 Algorithmes itératifs360
A2.2.1 Algorithme du gradient360
A2.2.2 Algorithme de Newton361
A2.2.3 Algorithme simplifié de Newton-Raphson363
A2.2.4 Algorithme de Levenberg-Marquardt364
A2.2.5 Algorithmes de quasi-Newton366
A2.2.6 Méthodes d'asservissement du pas dans une direction de
descente367
A2.2.7 Mise en oeuvre de l'algorithme de quasi-Newton (ici BFGS)
agrémenté d'un asservissement du pas369
A2.3 Algorithmes récursifs370
A2.3.1 Algorithme récursif du gradient (gradient du coût partiel)370
A2.3.2 Algorithmes récursifs du second ordre371
Références373
Index381