IA sin exageraciones: cómo obtener valor real de los LLM sin distraerse
En Taktile tenemos una amplia experiencia en la incorporación de ML e IA en los sistemas de riesgo. Mi cofundador Maik Taro Wehmeyer y yo pasamos la mayor parte de nuestra vida laboral renovando la forma en que los bancos y las aseguradoras ejecutan sus decisiones automatizadas. El primer inversor de Taktile fue uno de los creadores de AlphaFold, de DeepMind. Y dado que nuestra base de clientes incluye algunas de las instituciones financieras más innovadoras del mundo, vemos todos los días cómo las finanzas se benefician de adoptar IA. Huelga decir que nos entusiasma enormemente el potencial de la IA para mejorar la forma en que los equipos de riesgo toman decisiones críticas a escala.
Obtener verdadero valor de los sistemas de IA es notoriamente difícil y, lamentablemente, la tendencia de los proveedores a prometer de más y cumplir de menos no ayuda: a principios de este año, una empresa publicó una impresionante demostración en video de su “AI Software Engineer”, lo que provocó un frenesí de entusiasmo en la comunidad y una valuación en alza. Más tarde se supo que esas afirmaciones tan llamativas eran en el mejor de los casos engañosas. Este es solo un ejemplo del llamado “AI washing”. La práctica se ha vuelto tan común que la Securities and Exchange Commission incluso emitió una alerta para inversionistas en la que advierte sobre afirmaciones falsas acerca de las capacidades de la IA. Escribimos esta guía para ayudar a los equipos de riesgo a ver más allá de las demos armadas para impresionar, evitar caer en manos de charlatanes y concentrarse en lo que realmente marca la diferencia.
La pirámide de las buenas decisiones
Los datos, la lógica y los modelos son los tres ingredientes fundamentales de las buenas decisiones.
Datos
Los datos de alta calidad son la base de toda buena decisión. Sin señales confiables, no importa lo que se construya encima: cualquier conclusión será poco fiable. Por eso, invertir en los cimientos de datos, ya sea incorporando fuentes de datos externas o mejorando cómo se generan, refinan y monitorean los datos internos, casi siempre tiene un impacto muy alto. Sobre todo cuando se quieren alimentar con esos datos modelos posteriores.
Lógica
En Taktile estamos convencidos de que la capa de lógica de los sistemas de decisión llegó para quedarse y de que modelos y lógica coexistirán para equilibrar sus fortalezas y debilidades. En consecuencia, más modelos llevarán a más lógica, y no a menos, porque la lógica es excelente para expresar la intención estratégica, la experiencia del dominio y las restricciones regulatorias. Por ejemplo, su política de crédito contendrá límites fijados por los socios de fondeo. Su política de precios estará condicionada por la competencia y por el entorno legal. Y un factor importante en sus decisiones será el criterio prospectivo de su equipo de crédito. Nada de eso puede aprenderse de datos históricos, ni debería.
"Dependemos en gran medida de modelos de machine learning para el scoring crediticio. Sin embargo, siempre combinamos estos modelos con una lógica de crédito cuidadosamente elaborada para alcanzar nuestros objetivos de negocio. En Branch, el equipo de ML y el equipo de crédito trabajan codo a codo."
Modelos
Los modelos vienen en una gran variedad de formas. Pueden ser puntajes comprados a proveedores de fraude o a burós de crédito. Pueden ser predicciones de modelos estadísticos o de machine learning gestionados por la propia empresa, por ejemplo de regresiones logísticas o árboles potenciados. Y cada vez más se presentan como texto, código y datos devueltos por modelos de lenguaje de gran tamaño (LLM).
Los modelos son excelentes cuando es probable que el futuro se parezca al pasado. Por ejemplo, si ha recopilado una cantidad significativa de datos sobre comportamiento fraudulento, puede usar un modelo para capturar con precisión ese patrón y señalarlo. Esto funcionará bien mientras el patrón sea estable y los hallazgos se generalicen.
La razón de presentar los ingredientes como una pirámide se basa en nuestra experiencia con cientos de implementaciones de modelos. Concentrarse únicamente en el desarrollo de modelos suele ser ineficaz. Lo más frecuente es que las mayores palancas para mejorar la calidad de las decisiones estén en mejorar los datos subyacentes y en pensar de verdad cómo se traducen los puntajes de los modelos en resultados de negocio a través de la capa de lógica. Por eso diseñamos Taktile con esos tres ingredientes en mente: un amplio Data Marketplace, una capa de lógica intuitiva y transparente, y la capacidad de dotar a las decisiones de modelos de vanguardia.
Cómo pensar la adopción de IA
La Pirámide de las Buenas Decisiones da forma a nuestra visión y enfoque de la IA, que pueden ayudar en cada paso del camino de creación y mejora de decisiones.
Cómo afecta la IA a la capa de datos
La IA es ideal para convertir datos no estructurados en datos estructurados que luego se pueden usar en modelos y scorecards. En nuestra documentación del producto, por ejemplo, le mostramos cómo usar la integración con OpenAI para convertir descripciones de negocios en códigos NAICS para la clasificación por industria. Este ejemplo ilustra cómo una entrada irregular basada en texto puede convertirse en algo que usted puede emplear de forma sistemática para aplicar las restricciones de industria de su propia empresa.
La IA también puede ayudar a presentar información compleja de una forma más natural. Por ejemplo, hemos usado la IA con éxito para explicar en lenguaje comprensible por qué un modelo de machine learning marcó una transacción para revisión manual, con el fin de mejorar la calidad de la revisión y ahorrar tiempo.
Por último, la IA puede ayudar a encontrar patrones donde otras técnicas se quedan cortas. Por ejemplo, hemos comprobado que los modelos preentrenados (y ajustados con fine-tuning) clasifican mejor las transacciones bancarias que los modelos entrenados desde cero, probablemente por el conocimiento del mundo codificado en sus pesos. A su vez, una mejor clasificación ayuda a mejorar las decisiones de suscripción de crédito que se apoyan en señales transaccionales.
Cómo afecta la IA a la capa de lógica
Puede parecer contraintuitivo pensar en IA al hablar de lógica, pero hemos comprobado que la IA es muy útil para construir y mejorar la lógica de decisión. Imagine un copiloto que identifica cuellos de botella en el proceso de decisión donde se rechaza a muchos solicitantes, luego recomienda fuentes de datos para ayudar a reducir los falsos positivos y, de este modo, le permite aumentar las tasas de aprobación. Lo más importante es que creemos que la IA puede facilitar la vida de quienes diseñan decisiones sin quitarles el control ni la transparencia sobre cómo se toman finalmente esas decisiones.
Hay muchas piezas de la capa de lógica en las que la IA puede ayudar. Hemos descubierto que la IA es muy buena para definir casos de prueba y ayudarle a encontrar vacíos en su lógica que de otro modo podría haber pasado por alto. Del mismo modo, la IA puede ayudarle a resolver errores inesperados al manejar casos límite, o escribir por usted el código que capture lógica de negocio compleja y difícil de expresar solo con bloques low-code.
Otra fortaleza de la IA es el resumen. Por ejemplo, puede explicar la lógica que escribieron otros, resumir cambios de manera comprensible y anotar los grafos de decisión con títulos y descripciones.
Cómo afecta la IA a la capa de modelos
Y lo más importante: los propios modelos de IA son útiles como parte de una decisión, por ejemplo para clasificar una transacción, razonar sobre una entrada de texto o redactar un correo personalizado para un cliente que una persona puede revisar y enviar en segundos. Como plataforma de decisiones, facilitamos probar nuevos modelos, ver cómo se desempeñan y evaluarlos en su contexto de decisión. Dado el rápido avance de los modelos de IA, es importante mantener por encima de ellos una capa que sea agnóstica al modelo subyacente. De lo contrario, queda atado al modelo de un proveedor específico que podría quedar obsoleto en pocos meses.
Además, la IA también puede ayudar a entrenar modelos más pequeños de tipo whitebox para usar en la toma de decisiones. En el crédito al consumo, la Fair Credit Reporting Act exige dar explicaciones precisas cuando se deniega crédito a un solicitante. La Consumer Financial Protection Bureau dejó claro que este requisito se mantendrá en la era de la IA. Por eso, los prestamistas suelen elegir modelos explicables por diseño o usar algoritmos posteriores a la decisión para explicar el resultado del modelo. En ambos escenarios, la asistencia de la IA puede ayudar a entrenar, evaluar y monitorear esos modelos.
Guardrails
Los servicios financieros tienen estándares de seguridad, privacidad y gobernanza de datos mucho más altos que la mayoría de las demás industrias, y con razón. Esto genera trampas cuando se apresura la adopción de IA.
Por ejemplo, la mayoría de los proveedores de modelos alojados se reservan el derecho de revisar los datos que fluyen por sus sistemas. Esto puede no importar en algunos casos de uso, como cuando se trabaja con información de empresas disponible públicamente. Sin embargo, se vuelve problemático al tratar con datos sensibles de consumidores, como los informes crediticios, para los cuales la mayoría de los proveedores de modelos alojados no está adecuadamente preparada. Simplemente envolver ChatGPT no es suficiente.
Del mismo modo, las decisiones críticas exigen un alto nivel de reproducibilidad. Nuestros clientes esperan poder explicar las decisiones a sus clientes, auditores y reguladores incluso años después. Esto requiere un control de versiones y procedimientos de aprobación estrictos para modelos, prompts y datos de entrada. Por lo tanto, la adopción de IA solo será posible con una capa integral de infraestructura de gestión de decisiones a su alrededor.
La hoja de ruta de Taktile
En Taktile contamos con un pipeline completo de funciones de IA alineadas con nuestra visión de ayudar a las instituciones financieras a mejorar cómo toman decisiones críticas a escala. Al hacerlo, nos centraremos en el valor y no en el bombo, y respetaremos los estrictos guardrails y los altos estándares que nuestros clientes esperan de nosotros.
Varias personas aportaron comentarios útiles sobre borradores anteriores de esta publicación. En particular, quiero agradecer a Peter Tegelaar por una conversación sobre cómo combinan ideas tradicionales con LLM en Stenn. También quiero agradecer a Matt Mollison por sugerir que se enfatizara la dimensión de negocio en la capa de lógica.
Lecturas adicionales
- “Towards Generative Credit” de Matt Mollison y Matt Flannery (Branch)
Preguntas frecuentes (FAQ)
Las instituciones pueden generar valor combinando modelos de IA con datos de alta calidad y lógica de decisión. Los modelos de lenguaje de gran tamaño (LLM) pueden estructurar datos no estructurados, mejorar el scoring de riesgo y respaldar decisiones de crédito y fraude, cumpliendo al mismo tiempo los requisitos regulatorios.
La pirámide destaca los datos, la lógica y los modelos como capas fundamentales para tomar decisiones financieras eficaces. Los datos de alta calidad, una lógica de decisión clara y los modelos de IA o ML mejoran en conjunto la precisión, la transparencia y el cumplimiento regulatorio en crédito, suscripción de riesgos y gestión de fraude.
La IA puede señalar vacíos en las reglas de decisión y resumir y anotar lógica compleja, lo que ayuda a los equipos a mantener el control, la transparencia y la eficiencia operativa.
Sin una infraestructura adecuada, las instituciones financieras se exponen a vulneraciones de la privacidad de los datos, incumplimiento regulatorio y decisiones irreproducibles. Guardrails como el control de versiones de modelos, procedimientos de aprobación estrictos y una gestión segura de los datos son esenciales para una adopción segura de la IA.
Los modelos de IA pueden clasificar transacciones, razonar sobre entradas de texto o generar recomendaciones de decisión. Junto con modelos explicables o posteriores a la decisión, la IA respalda decisiones de crédito conformes a la regulación, la detección de fraude y la interacción con los clientes, manteniendo la transparencia y la auditabilidad. Vea la IA en acciónen la Decision Platform de Taktile.