Modélisation prédictive et apprentissage statistique avec R

Issu de formations devant des publics variés, cet ouvrage présente les principales méthodes de modélisation statistique et de machine learning, à travers le fil conducteur d'une étude de cas. Chaque méthode fait l'objet d'un rappel de cours et est accompagnée de références bibliographiques, puis est mise en oeuvre avec des explications détaillées sur les calculs effectués, les interprétations des résultats, et jusqu'aux astuces de programmation permettant d'optimiser les temps de calcul. A ce sujet, une annexe est consacrée au traitement des données massives. L'ouvrage commence par les méthodes de classement les plus classiques et les plus éprouvées, mais aborde rapidement les méthodes les plus récentes et les plus avancées : régression ridge, lasso, elastic net, boosting, forêts aléatoires, Extra-Trees, réseaux de neurones, séparateurs à vaste marge (SVM). A chaque fois, le lien est fait entre la théorie et les résultats obtenus, pour montrer qu'ils illustrent bien les principes sous-jacents à ces méthodes. L'aspect pratique est aussi privilégié, avec l'objectif de permettre au lecteur une mise en oeuvre rapide et efficace dans son travail concret. L'exploration et la préparation préliminaire des données sont d'ailleurs décrites, ainsi que le processus de sélection des variables. Une synthèse finale est faite de toutes les méthodes présentées et de leurs points forts. La mise en oeuvre s'appuie sur le logiciel libre R et sur un jeu de données public. Ce dernier peut être téléchargé sur Internet et présente l'intérêt d'être riche, complet et de permettre des comparaisons grâce aux nombreuses publications dans lesquelles il est cité. Quant au logiciel statistique R, non seulement il est devenu la lingua franca de la statistique et de la data science et le logiciel le plus répandu dans le monde universitaire, mais il a aussi conquis le monde de l'entreprise, à tel point que tous les logiciels commerciaux proposent désormais une interface avec R (ce point est abordé dans une annexe). Outre qu'il est disponible pour tous, dans tous les environnements, il est aussi le plus riche statistiquement, et c'est le seul logiciel permettant de mettre en oeuvre toutes les méthodes présentées dans cet ouvrage. Enfin, son langage de programmation particulièrement élégant et adapté au calcul mathématique permet de se concentrer dans le codage sur les aspects statistiques, sans les difficultés de programmation rencontrées avec d'autres logiciels. R permet d'arriver directement à l'essentiel et de mieux comprendre les méthodes exposées dans l'ouvrage.

Le data mining et la data science sont de plus en plus répandus dans les entreprises et les organisations soucieuses d'extraire l'information pertinente de leurs bases de données, qu'elles peuvent utiliser pour expliquer et prévoir les phénomènes qui les concernent (risques, production, consommation, fidélisation...). Cette cinquième édition, actualisée et augmentée de 90 pages, fait le point sur le data mining, ses méthodes, ses outils et ses applications, qui vont du scoring jusqu'au text mining, objet d'un chapitre complètement remanié. Nombre de ses outils appartiennent à l'analyse des données et à la statistique "classiques" (analyse factorielle, classification automatique, analyse discriminante, régression logistique, modèles linéaires généralisés, régression pénalisée, régression clusterwise...) mais certains sont plus spécifiques au data mining, comme les réseaux de neurones, les algorithmes génétiques, les SVM, les arbres de décision, les forêts aléatoires, le boosting et la détection des règles d'associations. Les avancées les plus récentes du machine learning et les applications les plus actuelles des Big Data sont présentées, qui vont des algorithmes de reconnaissance d'image aux méthodes de plongement de mots en text mining. Les chapitres sur les réseaux de neurones et les SVM sont illustrés par la reconnaissance de l'écriture manuscrite. Ces outils sont disponibles dans des logiciels de plus en plus puissants et complets, à commencer par le logiciel libre R, que nous comparons en détail aux logiciels SAS et IBM SPSS dans un chapitre spécifique. Ces logiciels sont utilisés pour illustrer par des exemples précis les explications théoriques données. Les aspects méthodologiques vont de la conduite des projets jusqu'aux facteurs de réussite et aux pièges à éviter, en passant par l'évaluation et la comparaison des modèles, leur intégration dans les processus opérationnels. Un chapitre est consacré à une étude de cas complète de credit scoring, de l'exploration des données jusqu'à l'élaboration de la grille de score.

Comprendre les principes théoriques de la statistique est une chose ; savoir les mettre en pratique en est une autre, et le fossé peut être large entre les deux. C'est pour vous aider à le franchir que l'auteur a écrit un ouvrage de "travaux pratiques" de la statistique décisionnelle et de la data science, qui fait suite à son ouvrage Data Mining et Statistique Décisionnelle paru dans la même collection. Ce nouvel ouvrage présente une étude de cas réalisée de A à Z à partir du même jeu de données, et répondant de façon complète et cohérente à deux importantes problématiques : la construction d'une segmentation de clientèle et l'élaboration d'un score d'appétence à l'achat d'un produit ou la souscription d'un contrat. Les données utilisées sont à la fois réelles et complètes. Elles proviennent du secteur de l'assurance, mais l'étude qu'elles permettent de réaliser peut se transposer a de nombreux autres domaines. Ces données sont disponibles sur le Web, notamment sur le site des Editions Technip où elles sont accompagnées des programmes présentés dans l'ouvrage. Ceci permettra au lecteur de compléter sa lecture par des exercices personnels, par le test de variantes, mais aussi d'utiliser ces programmes pour les appliquer à ses propres données et ses propres projets. L'étude de cas est menée avec le logiciel SAS, qui est à la fois le plus complet et le plus répandu des logiciels statistiques commerciaux, et qui permet de traiter tous les sujets abordés dans l'ouvrage, et même d'optimiser et d'automatiser les traitements. Tout au long de l'ouvrage, une bonne partie des procédures classiques de SAS/STAT est passée en revue, en mentionnant les améliorations des versions récentes, mais, au-delà des questions de programmation, nous souhaitons surtout montrer au lecteur qu'il est souhaitable et possible de conjuguer rigueur et productivité. Pour le scoring, quatre méthodes classiques de modélisation sont mises en oeuvre et comparées, l'analyse discriminante linéaire, les arbres de décision, la régression logistique et le classificateur bayésien naïf, de même que le bagging et deux méthodes plus avancées mises en oeuvre par l'appel de code R dans le programme SAS : les forêts aléatoires et le gradient boosting.

Cet ouvrage montre comment appliquer les méthodes de machine learning aux Big Data, et comment appliquer les méthodes plus spécifiques de deep learning aux problèmes plus complexes relevant de l'intelligence artificielle, tels que la reconnaissance d'image et le traitement du langage naturel.