Os LLMs tabulares chegaram — trazendo avanços revolucionários para as equipes de risco

Os avanços no aprendizado profundo têm impulsionado inovações em praticamente todos os setores — desde a mobilidade (Waymo) e a biologia (AlphaFold) até a música (Suno.ai). No entanto, apesar do sucesso do aprendizado profundo em tarefas altamente complexas, como carros autônomos, as aplicações na área de risco têm estado notavelmente ausentes dessa revolução. Mas isso está prestes a mudar.

Uma das principais razões pelas quais as equipes de risco ainda não integraram redes neurais profundas em seus conjuntos de ferramentas é a dificuldade histórica que enfrentam com dados tabulares. Bancos, fintechs e seguradoras dispõem de uma grande quantidade de dados tabulares e os utilizam diariamente para prevenir fraudes, detectar lavagem de dinheiro e avaliar o risco de crédito. E, quando se trata de construir modelos de previsão altamente precisos para esses casos de uso, a família de modelos de árvores com reforço de gradiente tem sido a escolha predominante.

Em um lançamento que os especialistas do setor apelidaram de “momento ChatGPT” dos dados tabulares, a Prior Labs divulgou um modelo inovador: o TabPFN. Esse modelo supera amplamente os métodos existentes em conjuntos de dados tabulares em uma ampla gama de tarefas tabulares — uma descoberta tão significativa que foi recentemente publicada na revista *Nature*. 

Dada a ampla variedade de aplicações de alto valor no setor de serviços financeiros, estamos entusiasmados com a parceria com a Prior Labs para oferecer às equipes das áreas de risco, fraude e conformidade acesso ao TabPFN.

Ao contrário de tentativas anteriores de tornar as redes neurais profundas úteis em contextos tabulares, este modelo é pré-treinado. Da mesma forma que os LLMs modernos são pré-treinados em um vasto corpus de dados textuais, incluindo a maior parte da internet pública, o TabPFN foi pré-treinado em uma ampla variedade de conjuntos de dados sintéticos — uma inovação fundamental do modelo.

Ao fazer uma previsão com o TabPFN, você fornece a ele várias linhas rotuladas dos seus dados, além das linhas não rotuladas. Em seguida, ele preenche as linhas não rotuladas com previsões, de forma semelhante à maneira como um LLM usa os exemplos de um prompt para ajudá-lo com uma consulta.

Fonte: Nature.com

À primeira vista, pode parecer inacreditável que não haja um treinamento de modelo no sentido tradicional da palavra. Os parâmetros (pesos) do modelo permanecem fixos durante todo o processo. Em vez disso, o modelo se baseia na flexibilidade e no poder da arquitetura do transformador para aprender os padrões dos dados enquanto realiza a previsão. O fato de isso funcionar tão bem também foi uma surpresa nos primórdios da modelagem de linguagem.

Como o modelo não é treinado para cada novo caso de uso e se baseia fortemente nos parâmetros pré-treinados, há algumas vantagens importantes para os profissionais do setor de serviços financeiros:

O TabPFN também inclui recursos adicionais valiosos que costumam ser uma fonte de dificuldade no aprendizado de máquina:

Dado que o modelo apresenta bom desempenho em contextos com poucos dados, acreditamos que a aplicação imediata mais promissora seja a verificação de fraudes. Avaliamos o desempenho do modelo em um conjunto de dados anônimos e reais sobre fraudes na abertura de contas e o comparamos a uma abordagem padrão de árvores impulsionadas. Quanto mais esparsos os dados ficam, maior é o desempenho superior do modelo em relação à abordagem clássica de aprendizado de máquina. Observe como o modelo se sai surpreendentemente bem quando mal vê dados de treinamento — esse é o poder do pré-treinamento em ação.

Outra aplicação pela qual somos apaixonados é a detecção de anomalias. O modelo ocupa o primeiro lugar em cenários de séries temporais, superando até mesmo o Chronos da Amazon, pelo que também pode ser utilizado para prever taxas de aprovação e métricas-chave, como o número de inscrições ou a distribuição das pontuações FICO dos candidatos. Se as métricas observadas se desviarem muito dessas distribuições, é possível acionar um alerta para que os analistas investiguem a anomalia.

Esses são apenas dois exemplos do motivo pelo qual estamos tão entusiasmados com o TabPFN – acreditamos que existam inúmeros outros casos de uso valiosos.

É importante levar em conta as limitações. Atualmente, o tempo de previsão (latência de inferência) é relativamente alto e há restrições quanto ao tamanho dos dados suportados. No entanto, esperamos que ambas as limitações sejam rapidamente atenuadas ao longo de 2025.