Los modelos de lenguaje grandes (LLM) tabulares ya están aquí, y traen consigo avances revolucionarios para los equipos de riesgo

Los avances en el aprendizaje profundo han impulsado innovaciones en casi todos los sectores, desde la movilidad (Waymo) y la biología (AlphaFold) hasta la música (Suno.ai). Sin embargo, a pesar del éxito del aprendizaje profundo en tareas altamente complejas, como los autos autónomos, las aplicaciones relacionadas con el riesgo han brillado por su ausencia en esta revolución. Pero esto está a punto de cambiar.

Una de las razones principales por las que los equipos de gestión de riesgos aún no han integrado las redes neuronales profundas en sus herramientas es su dificultad histórica con los datos tabulares. Los bancos, las empresas de tecnología financiera y las compañías de seguros cuentan con una gran cantidad de datos tabulares y los utilizan a diario para prevenir el fraude, detectar el lavado de dinero y determinar el riesgo crediticio. Y cuando se trata de desarrollar modelos de predicción de alta precisión para esos casos de uso, la familia de modelos de árboles potenciados por gradientes ha reinado sin rival.

En un lanzamiento que los expertos del sector han bautizado como el «momento ChatGPT» de los datos tabulares, Prior Labs presentó un modelo revolucionario: TabPFN. Este modelo supera ampliamente a los métodos existentes en conjuntos de datos tabulares en una amplia gama de tareas relacionadas con este tipo de datos, un hallazgo tan significativo que fue publicado recientemente en Nature. 

Dada la amplia gama de aplicaciones de alto valor en el sector de los servicios financieros, nos entusiasma asociarnos con Prior Labs para brindar a los equipos de riesgo, fraude y cumplimiento normativo acceso a TabPFN.

A diferencia de intentos anteriores por hacer que las redes neuronales profundas resulten útiles en entornos tabulares, este modelo está preentrenado. De manera similar a cómo los modelos de lenguaje grandes (LLM) modernos se preentrenan con un amplio corpus de datos de texto —que incluye la mayor parte de la información pública de Internet—, TabPFN se ha preentrenado con una amplia variedad de conjuntos de datos sintéticos, lo cual constituye una innovación clave del modelo.

Cuando realizas una predicción con TabPFN, le proporcionas una cantidad de filas etiquetadas de tus datos, además de las filas sin etiquetar. A continuación, el sistema completa las filas sin etiquetar con predicciones, de manera similar a como un modelo de lenguaje grande (LLM) utiliza los ejemplos de una solicitud para ayudarte con una consulta.

Fuente: Nature.com

Cuando lo escuchas por primera vez, puede parecer increíble que no haya un entrenamiento del modelo en el sentido tradicional del término. Los parámetros (pesos) del modelo permanecen fijos durante todo el proceso. En cambio, el modelo se basa en la flexibilidad y el poder de la arquitectura del transformador para aprender los patrones de tus datos mientras realiza la predicción. El hecho de que esto funcione tan bien también fue una sorpresa en los inicios del modelado del lenguaje.

Dado que el modelo no se entrena para cada nuevo caso de uso y se basa en gran medida en sus conocimientos previos del entrenamiento previo, existen algunas ventajas clave para los profesionales del sector de servicios financieros:

TabPFN también incluye valiosas funciones adicionales que suelen ser una fuente de dificultades en el aprendizaje automático:

Dado que el modelo ofrece un buen desempeño en entornos con pocos datos, creemos que la aplicación inmediata más interesante son los controles de fraude. Hemos evaluado el desempeño del modelo en un conjunto de datos anónimo y real sobre fraudes en la apertura de cuentas y lo hemos comparado con un enfoque estándar de árboles potenciados. Cuanto más dispersos son los datos, mayor es el rendimiento superior del modelo frente al enfoque clásico de aprendizaje automático. Observe cómo el modelo funciona sorprendentemente bien cuando apenas cuenta con datos de entrenamiento: este es el poder del preentrenamiento en acción.

Otra aplicación que nos apasiona es la detección de anomalías. El modelo ocupa el primer lugar en entornos de series temporales, superando incluso a Chronos de Amazon, por lo que también se puede utilizar para pronosticar tasas de aprobación y métricas clave, como el número de solicitudes o la distribución de las calificaciones FICO de los solicitantes. Si las métricas observadas se desvían demasiado de esas distribuciones, puedes generar una alerta para que los analistas investiguen la anomalía.

Estos son solo dos ejemplos de por qué nos entusiasma tanto TabPFN; creemos que hay innumerables casos de uso valiosos más.

Sigue siendo importante tener en cuenta las limitaciones. En la actualidad, el tiempo de predicción (latencia de inferencia) es relativamente alto y existen restricciones en cuanto al tamaño de los datos que se pueden procesar. Sin embargo, esperamos que ambas limitaciones se reduzcan rápidamente a lo largo de 2025.