L’IA sans le battage : tirer une vraie valeur des LLM sans se laisser distraire

Chez Taktile, nous avons une solide expérience de l’intégration du ML et de l’IA dans les systèmes de risque. Mon cofondateur Maik Taro Wehmeyer et moi avons passé l’essentiel de notre vie professionnelle à repenser la façon dont les banques et les compagnies d’assurance gèrent leurs décisions automatisées. Le premier investisseur de Taktile était l’un des inventeurs d’AlphaFold de DeepMind. Et comme notre base de clients compte certaines des institutions financières les plus avant-gardistes au monde, nous voyons chaque jour ce que l’adoption de l’IA apporte à la finance. Inutile de dire que nous sommes extrêmement enthousiastes quant au potentiel de l’IA pour améliorer la façon dont les équipes risque prennent des décisions critiques à grande échelle.

Tirer réellement parti des systèmes d’IA est notoirement difficile et, hélas, la tendance des fournisseurs à trop promettre et à sous-livrer n’arrange rien : plus tôt cette année, une entreprise a publié une impressionnante démo vidéo de son « AI Software Engineer », ce qui a provoqué une frénésie d’enthousiasme dans la communauté et une envolée de sa valorisation. Il s’est révélé par la suite que ces affirmations spectaculaires étaient au mieux trompeuses. Ce n’est qu’un exemple de ce qu’on appelle l’« AI washing ». La pratique est devenue si répandue que la Securities and Exchange Commission a même publié une alerte aux investisseurs les mettant en garde contre les fausses allégations sur les capacités de l’IA. Nous avons rédigé ce guide pour aider les équipes risque à voir au-delà des démos truquées, à ne pas se laisser berner par les charlatans et à se concentrer sur ce qui fait vraiment la différence.

La pyramide des bonnes décisions

Les données, la logique et les modèles sont les trois ingrédients essentiels des bonnes décisions.

Données

Des données de haute qualité sont le socle de toute bonne décision. Sans signaux fiables, peu importe ce qu’on construit par-dessus : toute conclusion sera peu fiable. Investir dans les fondations de données, que ce soit en ajoutant des sources de données externes ou en améliorant la manière dont les données internes sont produites, affinées et surveillées, est donc presque toujours une action à très fort impact. Surtout lorsque vous souhaitez alimenter un modèle en aval avec ces données.

Logique

Chez Taktile, nous sommes convaincus que la couche de logique des systèmes de décision est là pour durer, et que modèles et logique coexisteront pour équilibrer leurs forces et faiblesses respectives. Par conséquent, davantage de modèles entraîneront plus de logique plutôt que moins, car la logique excelle pour exprimer l’intention stratégique, l’expertise métier et les contraintes réglementaires. Par exemple, votre politique de crédit comportera des limites fixées par vos partenaires de financement. Votre politique de prix sera contrainte par vos concurrents ainsi que par l’environnement juridique. Et le jugement prospectif de votre équipe crédit sera un facteur important de vos décisions. Rien de tout cela ne peut s’apprendre à partir de données historiques, et cela ne devrait pas l’être.

Modèles

Les modèles prennent des formes très variées. Ce peuvent être des scores achetés auprès de fournisseurs anti-fraude ou de bureaux de crédit. Ce peuvent être les prédictions de modèles statistiques ou de machine learning gérés en interne, par exemple des régressions logistiques ou des arbres boostés. Et ils prennent de plus en plus la forme de texte, de code et de données renvoyés par des grands modèles de langage (LLM).

Les modèles sont très efficaces lorsque l’avenir a de fortes chances de ressembler au passé. Par exemple, si vous avez collecté un nombre significatif de données sur des comportements frauduleux, vous pouvez utiliser un modèle pour saisir précisément ce schéma et le signaler. Cela fonctionnera bien tant que le schéma est stable et que les conclusions se généralisent.

Si nous présentons ces ingrédients sous la forme d’une pyramide, c’est en raison de notre expérience de centaines de déploiements de modèles. Se concentrer uniquement sur le développement de modèles est généralement inefficace. Le plus souvent, les principaux leviers pour améliorer la qualité des décisions résident dans l’amélioration des données sous-jacentes et dans une vraie réflexion sur la façon dont les scores des modèles se traduisent en résultats business via la couche de logique. C’est pourquoi nous avons conçu Taktile autour de ces trois ingrédients : un riche Data Marketplace, une couche de logique intuitive et transparente, et la capacité d’intégrer aux décisions des modèles de pointe.

Réfléchir à l’adoption de l’IA

La pyramide des bonnes décisions façonne notre vision et notre approche de l’IA, qui peut aider à chaque étape de la création et de l’amélioration des décisions.

L’impact de l’IA sur la couche de données

L’IA est très efficace pour transformer des données non structurées en données structurées, qui peuvent ensuite alimenter des modèles et des scorecards. Dans notre documentation produit, par exemple, nous vous montrons comment utiliser l’intégration OpenAI pour convertir des descriptions d’activité en codes NAICS afin de classer les entreprises par secteur. Cet exemple illustre comment une entrée textuelle irrégulière peut être transformée en quelque chose que vous pouvez exploiter systématiquement pour appliquer les restrictions sectorielles propres à votre entreprise.

L’IA peut aussi aider à présenter des informations complexes de façon plus naturelle. Par exemple, nous avons utilisé l’IA avec succès pour expliquer en langage clair pourquoi un modèle de machine learning a signalé une transaction pour examen manuel, afin d’améliorer la qualité des revues et de gagner du temps.

Enfin, l’IA peut aider à détecter des schémas là où d’autres techniques échouent. Par exemple, nous avons constaté que les modèles pré-entraînés (et affinés) classent mieux les transactions bancaires que les modèles entraînés de zéro, probablement en raison des connaissances sur le monde encodées dans leurs poids. Une meilleure classification contribue à son tour à améliorer les décisions d’octroi de crédit qui reposent sur des signaux transactionnels.

L’impact de l’IA sur la couche de logique

Il peut sembler contre-intuitif de penser à l’IA quand on parle de logique, mais nous avons constaté que l’IA est très utile pour construire et améliorer la logique de décision. Imaginez un copilote qui repère les goulots d’étranglement du processus de décision où de nombreux demandeurs sont refusés, puis recommande des sources de données pour réduire les faux positifs et vous permet ainsi d’augmenter les taux d’approbation. Surtout, nous pensons que l’IA peut faciliter la vie des auteurs de décisions sans leur retirer le contrôle ni la transparence sur la manière dont les décisions sont finalement prises.

L’IA peut aider sur de nombreux éléments de la couche de logique. Nous avons constaté qu’elle est très efficace pour définir des cas de test et vous aider à repérer des lacunes dans votre logique qui auraient pu vous échapper. De même, l’IA peut vous aider à résoudre des erreurs inattendues dans le traitement des cas limites, ou écrire du code pour capturer une logique métier complexe, difficile à exprimer avec les seuls blocs low-code.

La synthèse est un autre point fort de l’IA. Par exemple, elle peut expliquer une logique écrite par d’autres, résumer les modifications de façon lisible et annoter les graphes de décision avec des titres et des descriptions.

L’impact de l’IA sur la couche de modèles

Surtout, les modèles d’IA sont eux-mêmes utiles au sein d’une décision, par exemple pour classer une transaction, analyser une entrée textuelle ou rédiger un e-mail personnalisé à un client, qu’un humain peut relire et envoyer en quelques secondes. En tant que plateforme de décision, nous facilitons l’essai de nouveaux modèles, l’observation de leurs performances et leur évaluation dans leur contexte décisionnel. Compte tenu des progrès rapides des modèles d’IA, il est important de maintenir au-dessus des modèles une couche agnostique du modèle sous-jacent. Sinon, vous êtes lié au modèle d’un fournisseur donné, qui pourrait être obsolète en quelques mois.

En outre, l’IA peut aussi aider à entraîner des modèles whitebox plus petits pour la prise de décision. En crédit à la consommation, le Fair Credit Reporting Act exige de fournir des explications précises lorsqu’un crédit est refusé à un demandeur. Le Consumer Financial Protection Bureau a clairement indiqué que cette exigence continuera de s’appliquer à l’ère de l’IA. Les prêteurs choisissent donc souvent soit des modèles explicables par conception, soit des algorithmes post-décision pour expliquer les résultats du modèle. Dans les deux cas, l’assistance de l’IA peut aider à entraîner, évaluer et surveiller ces modèles.

Garde-fous

Les services financiers appliquent des normes bien plus strictes de sécurité, de confidentialité et de gouvernance des données que la plupart des autres secteurs, et à juste titre. Cela crée des écueils lorsqu’on se précipite pour adopter l’IA.

Par exemple, la plupart des fournisseurs de modèles hébergés se réservent le droit d’examiner les données qui transitent par leurs systèmes. Cela peut être sans importance pour certains cas d’usage, comme le traitement d’informations d’entreprise publiquement disponibles. En revanche, cela devient problématique avec des données sensibles de consommateurs, comme les rapports de crédit, pour lesquelles la plupart des fournisseurs de modèles hébergés ne sont pas suffisamment préparés. Se contenter d’encapsuler ChatGPT ne suffit pas.

De même, les décisions critiques exigent un haut niveau de reproductibilité. Nos clients s’attendent à pouvoir expliquer leurs décisions à leurs clients, aux auditeurs et aux régulateurs, même des années plus tard. Cela suppose un versionnage et des procédures de validation stricts pour les modèles, les prompts et les données d’entrée. L’adoption de l’IA ne sera donc possible qu’avec une couche complète d’infrastructure de gestion des décisions autour d’elle.

La feuille de route de Taktile

Chez Taktile, nous avons un pipeline complet de fonctionnalités d’IA en phase avec notre vision : aider les institutions financières à améliorer la façon dont elles prennent des décisions critiques à grande échelle. Ce faisant, nous privilégierons la valeur plutôt que le battage médiatique, et nous respecterons les garde-fous stricts et les normes élevées que nos clients attendent de nous.

Plusieurs personnes ont apporté des commentaires utiles sur les versions précédentes de cet article. Je remercie en particulier Peter Tegelaar pour nos échanges sur la manière dont Stenn associe idées traditionnelles et LLM. Je remercie également Matt Mollison d’avoir suggéré de mettre l’accent sur la dimension business dans la couche de logique.

Pour aller plus loin

• Récapitulatif du panel Money20/20 Las Vegas : ChatGPT sait écrire, mais l’IA sait-elle souscrire ?
• « Towards Generative Credit » par Matt Mollison et Matt Flannery (Branch)
• Une souscription basée sur les flux de trésorerie, enrichie par ClassifAI par Silvr

Questions fréquentes (FAQ)