Llegaron los LLM tabulares: avances clave para los equipos de riesgo
El avance del deep learning ha impulsado hitos en casi todos los sectores, desde la movilidad (Waymo) y la biología (AlphaFold) hasta la música (Suno.ai). Sin embargo, pese al éxito del deep learning en tareas tan complejas como los autos autónomos, las aplicaciones de riesgo han estado llamativamente ausentes de esta revolución. Pero eso está por cambiar.
Una razón clave por la que los equipos de riesgo aún no han incorporado las redes neuronales profundas a sus herramientas es su dificultad histórica con los datos tabulares. Los bancos, las fintechs y las aseguradoras tienen datos tabulares en abundancia y los usan a diario para prevenir el fraude, detectar el lavado de dinero y determinar el riesgo crediticio. Y a la hora de construir modelos de predicción de alta precisión para esos casos de uso, la familia de modelos de árboles con gradient boosting ha dominado sin discusión.
El “momento ChatGPT” de los datos tabulares
En un lanzamiento que sus pares del sector han bautizado como el “momento ChatGPT” de los datos tabulares, Prior Labs presentó un modelo revolucionario: TabPFN. Este modelo supera en general a los métodos existentes en conjuntos de datos tabulares y en una amplia gama de tareas tabulares, un hallazgo tan significativo que fue publicado en Nature recientemente.
Dada la amplia variedad de aplicaciones de alto valor en los servicios financieros, nos entusiasma asociarnos con Prior Labs para dar a los equipos de riesgo, fraude y compliance acceso a TabPFN.
Conclusiones clave
- Prior Labs ha presentado un modelo revolucionario, TabPFN, que supera en general a los métodos existentes en conjuntos de datos tabulares y en diversas tareas tabulares.
- El modelo es el nuevo estado del arte en escenarios con pocos datos, y los equipos no necesitan reentrenamientos complejos ni infraestructura de MLOps.
- Nos asociamos con Prior Labs para que TabPFN esté disponible en la plataforma de Taktile para aplicaciones de gestión de riesgo y optimización de decisiones.
- El modelo ya demuestra su valor en varias aplicaciones de riesgo, como las verificaciones de fraude y la detección de anomalías en el riesgo crediticio.
Cómo funciona TabPFN
A diferencia de los intentos anteriores de hacer útiles las redes neuronales profundas con datos tabulares, este modelo está preentrenado. Así como los LLM modernos se preentrenan con un enorme corpus de texto, que incluye gran parte de internet público, TabPFN se preentrenó con una amplia gama de conjuntos de datos sintéticos, una innovación clave del modelo.
Cuando hace una predicción con TabPFN, le entrega varias filas etiquetadas de sus datos junto con filas sin etiquetar. El modelo completa las filas sin etiquetar con predicciones, de forma similar a cómo un LLM usa los ejemplos de un prompt para ayudarle con una consulta.
Al oírlo por primera vez, puede parecer increíble que no haya entrenamiento del modelo en el sentido tradicional. Los parámetros (pesos) del modelo permanecen fijos todo el tiempo. En cambio, el modelo se apoya en la flexibilidad y la potencia de la arquitectura transformer para aprender los patrones de sus datos mientras ejecuta la predicción. Que esto funcione tan bien también fue sorprendente en los primeros días del modelado del lenguaje.
El valor de TabPFN para los profesionales de riesgo
Como el modelo no se entrena para cada nuevo caso de uso y se apoya en gran medida en los conocimientos previos del preentrenamiento, los profesionales de servicios financieros obtienen ventajas clave:
- Los expertos del dominio ahora pueden crear predicciones competitivas sin años de experiencia en ciencia de datos; esto significa equipos más pequeños, más rápidos y con más autonomía.
- El modelo rinde bien con pocos datos; esto es especialmente interesante para aplicaciones de fraude, crédito y prevención de lavado de dinero (AML), ya que muchas empresas tienen relativamente pocos verdaderos positivos.
- Los equipos no necesitan reentrenamientos complejos ni infraestructura de MLOps; sin reentrenamiento, se reduce la carga de validación, pruebas y aprobación del modelo.
TabPFN también incluye funciones adicionales valiosas que suelen ser una fuente de fricción en el machine learning:
- El modelo devuelve de forma natural distribuciones como resultados, que puede usar en decisiones posteriores.
- El modelo maneja de forma nativa los valores faltantes y los valores atípicos, por lo que no necesita pensar en imputación ni en otras estrategias para forzar los datos al formato que su modelo espera.
- El modelo puede devolver explicaciones de sus predicciones (mediante los llamados valores de Shapley), lo que mitiga las preocupaciones sobre la IA de caja negra.
"Nos entusiasma muchísimo la capacidad de TabPFN para transformar la forma en que los equipos trabajan con deep learning para construir y optimizar productos financieros. Los casos de uso que vemos con Taktile son apenas el comienzo de lo que es posible."
Aplicaciones reales de TabPFN en casos de uso de riesgo
1. Verificaciones de fraude
Dado que el modelo rinde bien con pocos datos, creemos que la aplicación inmediata más interesante son las verificaciones de fraude. Evaluamos el rendimiento del modelo con un conjunto de datos anonimizado y real de fraude en la apertura de cuentas, y lo comparamos con un enfoque estándar de árboles con boosting. Cuanto más escasos son los datos, mayor es la ventaja del modelo sobre el enfoque clásico de machine learning. Observe cómo el modelo rinde sorprendentemente bien cuando casi no ve datos de entrenamiento: es el poder del preentrenamiento en acción.
Ejemplo: detección de fraude en la apertura de cuentas
2. Detección de anomalías en el riesgo crediticio
Otra aplicación que nos apasiona es la detección de anomalías. El modelo ocupa el puesto n.º 1 en series de tiempo, incluso por delante de Chronos de Amazon, por lo que también puede usarse para proyectar tasas de aprobación y métricas clave, como el número de solicitudes o la distribución de los puntajes FICO de los solicitantes. Si las métricas observadas se desvían demasiado de esas distribuciones, puede generar una alerta para que los analistas investiguen la anomalía.
Ejemplo: detección de anomalías en las solicitudes de préstamo diarias
Estos son solo dos ejemplos de por qué TabPFN nos entusiasma tanto; creemos que existen innumerables casos de uso valiosos más.
Es importante tener en cuenta las limitaciones. Hoy el tiempo de predicción (latencia de inferencia) es relativamente alto y existen límites en el tamaño de datos admitido. Sin embargo, esperamos que ambas limitaciones se reduzcan con rapidez a lo largo de 2025.