Sub-prime, crise grecque, les techniques prédictives de ces agences toutes puissantes sont sur la sellette.
La Compagnie Française d’Assurances pour le Commerce extérieur (COFACE) est bien connue pour son assurance crédit à l’export, pour la gestion de créances à l’export. C’est aussi, avec son service Scrore@rating, une agence de notation qui attribue une note de 1 à 10 à 5,5 millions d’entreprises françaises et 50 de par le monde. Le français, qui cherche à obtenir un agrément au niveau européen est en compétition avec les deux grands cabinets de notation anglosaxons : Standard & Poor’s, Moody’s, et dans une moindre mesure à Fitch. Des cabinets régulièrement montré du doigt à l’occasion des dernières crises financières : Moody’s pour n’avoir vu arriver le scandale Enron, Standard & Poor’s qui attribuait un A à Lehman Brothers à quelques jours de sa faillite… Vint enfin la dégradation de la Grèce, du Portugal et l’Espagne par Standard & Poor’s après des années d’aveuglement sur la situation financière de ces pays… avec les conséquences que l’on sait.
Retour sur le témoignage de Bruno Vial, lors du dernier Forum CXP. Il est responsable du service Sesame, en charge des études quantitatives de la Coface et il explique la façon dont on été conçus les modèles préditifs exploités par la Coface pour noter les entreprises. Il en définit aussi les limites.
La notation des entreprise : du scoring de masse
Une agence de notation, c’est avant tout une société qui fait du scoring, du scoring de masse pour la notation des entreprises. Du data mining sur des bilans comptables tels que toutes ou tout du moins beaucoup d’entreprises pratiquent sur leur fichiers clients par exemple, avec les mêmes outils. Sans surprise, les agences de notations utilisent les outils Sas Institue et la Coface ne fait pas exception. « On utilise SAS Miner » déclarait Bruno Vial, Responsable du service Sesame en charge des études quantitatives de la Coface lors de sa conférence sur le dernier Forum CXP. « Cela nous permet d’avoir une structure qui est très facile à utiliser et surtout on peut rejouer les choses, on peut réactualiser la ase : vous appuyez sur un seul bouton et vous pouvez revoir toutes les étapes que vous avez faites lors de l’évaluation. Ca nous permet de faire du back testing, de rejouer sur des nouvelles bases, c’est très important pour nous. Ca nous permet de nous défendre lorsqu’on a un audit. L’agrément de la commission bancaire nous impose de pouvoir être audités ».
Une structure modulaire, plus facilement auditable
Alors est-ce qu’une agence met au point un modèle prédictif puis l’exécute sans autre forme de procès sur l’ensemble des sociétés ? Pas si simple ! Coface ne s’appuie pas sur un modèle statistique unique, mais sur 14 modèles différents, appelés en cascade lors de l’évaluation. C’est ce que Bruno Vial appelle une structure modulaire. Il explique cette approche : « Contrairement à des méthodes qu’un statisticien sorti de l’école pourrait proposer, on a une structure modulaire. Un statisticien débutant va chercher à avoir une formule qui calcule tous les cas ensemble, ce serait plus optimal ». Contrainte majeure pour l’agence de notation : l’entreprise noté peut contester sa note et demander un audit. Contrairement à l’abonné de téléphonie mobile qui ne saura jamais que son opérateur l’a fait passer dans une moulinette prédictive pour lui proposer un nouveau forfait, une entreprise, pour peu qu’elle ait du poids peut demander à l’agence de se justifier sur une dégradation. Pour la Coface, ce découpage en modules présente de nombreux avantages : « Avec une structure modulaire, on est sûr d’avoir fait le bon choix. Quand vous êtes obligés de discuter de votre appréciation, de votre score d’une entreprise auprès de la Banque de France, vous aurez du mal à trouver quelqu’un qui pourra comprend que c’est du à telle ou telle variable. Une variable, ça ne veut rien dire. C’est une appréciation générale de ma solvabilité, c’est ma rentabilité, c’est ma performance… Notre structure modulaire nous permet de discuter. Nos interlocuteurs, ce sont nos clients informations mais aussi ce sont surtout en interne les souscripteurs de risque, ce sont les arbitres. Ce sont nos interlocuteurs avec les entreprises et qui utilisent le score. Ils ont besoin de savoir ce qu’il y a derrière, on doit être capable d’expliquer pour telle raison on les noter comme ça ». Ce qui peut passer pour le service minimum… en fait, n’a rien d’évident : « Le premier message que vous avez entendu pendant la crise de nombreuses fois par tous les statisticiens, c’est qu’aucun modèle n’est parfait. Les modèles ont des limites et il faut mettre en place d’autres solutions. Lors de la crise Les utilisateurs dans les banques utilisaient des modèles très complexes, sans savoir exactement ce qu’il y avait dedans » ajoute cet expert.
Les éléments strictement financiers ne suffisent pas
« La structure modulaire permet l’évaluation financière puis des incidents de paiement qui vont nous parvenir par d’autres canaux d’information. On a là une première évaluation. Ensuite on a un troisième niveau qui est la prise en compte des liens financiers, de l’actionnariat. Ensuite on prend l’historique ». L’expert souligne l’inadaptation des techniques issues de l’intelligence artificielle pour le scoring : « Quand vous avez une évaluation, si vous avez un modèle de type réseaux de neurones qui évolue avec l’apprentissage : pour une entreprise, si vous utilisez les réseaux de neurones, celui-ci va vous livrer une évaluation mais quand vous allez relancer le modèle vous obtiendrez une autre évaluation, simplement parce que la courbe d’apprentissage à augmentée. Ca ne signifie pas que cette nouvelle évaluation soit fausse, mais la note aura beaucoup changé. En termes d’impact commercial, de ressenti client, le changement est dramatique. Ensuite on utilise des indicateurs de score personnalisés et des indicateurs avancés ».
« Pendant la crise, il s’est passé quelque chose, c’est ce que j’appelle la désacralisation du prédictif. Il est apparu une espèce de haine envers les systèmes prédictifs et une critique systématique. Justifiée ou non, il y a toujours un peu la part des deux » consent Bruno Vial. « Le score est basé sur des éléments financiers et on peut toujours se demander dans quelle mesure c’est représentatif du futur. C’est une question que l’on s’est posé et c’est pour cela qu’on y a ajouté des indicateurs avancés. Nous anticipons les événements exceptionnels que les modèles n’ont pas pu prendre en compte, nous avons la possibilité de dégrader tout ou partie d’une certaine typologie de sociétés. On a recours à l’intervention humaine dans des cas où on a pu détecter une incohérence dans l’évaluation ou des spécificités liées à une entreprise.
Les autres solutions passe par la notion d’étude de sensibilité où on considère plusieurs scénario, la sensibilité au paramétrage, ou encore le stress testing. Les progiciels sont sur ces sujets là mais on a beau avoir SAS, qu’est ce qui nous permet de tester l’impact d’une crise de liquidité qui va frapper toutes les sociétés. Quel est l’impact sur ma notation ? Aucun logiciel, aucun progiciel, aucune méthode ne permet de faire ça ».
Loading ...
On peut se poser la question de la pertinence des modèles employés, mais on peut aussi se poser la question de l’intégrité des agences de notation américaine, qui sont juge et partie, puisqu’il a été prouvé qu’elles vendait leur 3A comme des produits auprès des banques.
Tout a ses limites, quand on voit que Moody menace la France d’une dégradation de sa note, ou va t on ? Une agence privée qui a prouvé qu’elle n’était pas intègre se met à menacer un pays souverain … il est grand temps de nettoyer tout cela et d’assumer nos différences culturelles et financières. Est-ce que c’est Moody qui va piloter le dossier des réformes des retraites ? Il faut dire qu’avec les achats de licences de produits commerciaux Américains, des sommes importantes qui pourraient être économisées en pariant sur l’Open Source partent de l’autre côté de l’Atlantique pour nourrir des fonds de pensions.
Dans l’IT, c’est à peut prêt la même chose, avec des Gartner et autre Forrester qui vendent les positions dans leur Quadrant Magic de manière peu scrupuleuse, et qui n’ont rien vu venir des derniers gros mouvements de rachat (dans le Bi ou ailleurs) ou de l’arrivée de la vague Open Source. A méditer