IA sem hype: como obter valor real de LLMs sem perder o foco
Na Taktile, temos experiência significativa em incorporar machine learning e IA em sistemas de risco. Meu cofundador Maik Taro Wehmeyer e eu passamos a maior parte da vida profissional reformulando a forma como bancos e seguradoras executam suas decisões automatizadas. O primeiro investidor da Taktile foi um dos inventores do AlphaFold, da DeepMind. E, como nossa base de clientes inclui algumas das instituições financeiras mais visionárias do mundo, vemos todos os dias como o setor financeiro se beneficia da adoção de IA. Nem é preciso dizer que estamos extremamente animados com o potencial da IA para melhorar a forma como as equipes de risco tomam decisões críticas em escala.
Extrair valor de verdade de sistemas de IA é notoriamente difícil e, infelizmente, a tendência dos fornecedores de prometer demais e entregar de menos não ajuda: no início deste ano, uma empresa publicou uma demo em vídeo impressionante do seu “AI Software Engineer”, o que gerou uma onda de empolgação na comunidade e uma valorização disparada. Mais tarde, descobriu-se que as alegações impressionantes eram enganosas, na melhor das hipóteses. Esse é apenas um exemplo do chamado “AI washing”. A prática se tornou tão comum que a Securities and Exchange Commission chegou a emitir um alerta ao investidor alertando sobre alegações falsas a respeito de capacidades de IA. Escrevemos este guia para ajudar as equipes de risco a enxergar além de demos encenadas, evitar cair em charlatanismo e focar no que realmente faz diferença.
A pirâmide das boas decisões
Dados, lógica e modelos são os três ingredientes centrais das boas decisões.
Dados
Dados de alta qualidade são a base de toda boa decisão. Sem sinais confiáveis, não importa o que se coloque por cima: qualquer conclusão será pouco confiável. Por isso, investir em fundamentos de dados, seja adicionando fontes externas, seja melhorando como os dados internos são gerados, refinados e monitorados, é quase sempre uma atividade de alto impacto. Principalmente quando você quer alimentar um modelo downstream com esses dados.
Lógica
Na Taktile, estamos convencidos de que a camada de lógica dos sistemas de decisão veio para ficar e de que modelos e lógica coexistirão, equilibrando os pontos fortes e fracos um do outro. Por consequência, mais modelos levarão a mais lógica, e não a menos, porque a lógica é ótima para expressar intenção estratégica, conhecimento de domínio e restrições regulatórias. Por exemplo, sua política de crédito conterá limites definidos por parceiros de funding. Sua política de preços será restringida pela concorrência e pelo ambiente legal. E um fator importante nas suas decisões será o julgamento prospectivo da sua equipe de crédito. Nada disso pode ser aprendido a partir de dados históricos, nem deveria.
"Dependemos muito de modelos de machine learning para credit scoring. No entanto, sempre combinamos esses modelos com uma lógica de crédito cuidadosamente elaborada para atingir nossas metas de negócio. Na Branch, a equipe de ML e a equipe de crédito trabalham lado a lado."
Modelos
Os modelos vêm em uma grande variedade de formas. Vêm como scores comprados de fornecedores de antifraude ou de bureaus de crédito. Vêm como previsões de modelos estatísticos ou de machine learning gerenciados internamente, por exemplo, de regressões logísticas ou árvores com boosting. E, cada vez mais, vêm como texto, código e dados retornados por large language models (LLMs).
Os modelos são ótimos quando o futuro tende a ser parecido com o passado. Por exemplo, se você coletou uma quantidade significativa de dados sobre comportamento fraudulento, pode usar um modelo para capturar esse padrão com precisão e sinalizá-lo. Isso funcionará bem enquanto o padrão for estável e as conclusões se generalizarem.
A razão para apresentar os ingredientes como uma pirâmide vem da nossa experiência com centenas de implantações de modelos. Focar apenas no desenvolvimento de modelos geralmente é ineficaz. Na maioria das vezes, as maiores alavancas para melhorar a qualidade das decisões estão em melhorar os dados subjacentes e em pensar a fundo em como os scores dos modelos se traduzem em resultados de negócio por meio da camada de lógica. Por isso construímos a Taktile com esses três ingredientes em mente: um Data Marketplace profundo, uma camada de lógica intuitiva e transparente e a capacidade de incorporar às decisões modelos de ponta.
Pensando a adoção de IA
A Pirâmide das Boas Decisões molda nossa visão e nossa abordagem em relação à IA, o que pode ajudar em cada etapa da jornada de criação e melhoria de decisões.
Como a IA afeta a camada de dados
A IA é ótima para transformar dados não estruturados em dados estruturados que podem então alimentar modelos e scorecards. Na nossa documentação do produto, por exemplo, mostramos como usar a integração com a OpenAI para transformar descrições de negócios em códigos NAICS para classificação de setor. Esse exemplo ilustra como uma entrada irregular baseada em texto pode ser transformada em algo que você pode usar de forma sistemática para aplicar as restrições setoriais da sua própria empresa.
A IA também pode ajudar a apresentar informações complexas de forma mais natural. Por exemplo, usamos a IA com sucesso para explicar em linguagem legível por humanos por que um modelo de machine learning sinalizou uma transação para revisão manual, melhorando a qualidade da revisão e economizando tempo.
Por fim, a IA pode ajudar a encontrar padrões onde outras técnicas ficam aquém. Por exemplo, descobrimos que modelos pré-treinados (e com fine-tuning) classificam transações bancárias melhor do que modelos treinados do zero, provavelmente por causa do conhecimento sobre o mundo codificado em seus pesos. Uma classificação melhor, por sua vez, ajuda a aprimorar as decisões de underwriting de crédito que dependem de sinais transacionais.
Como a IA afeta a camada de lógica
Pode parecer contraintuitivo pensar em IA quando falamos de lógica, mas descobrimos que a IA é muito útil para construir e melhorar a lógica de decisão. Imagine um copiloto que identifica gargalos no processo de decisão em que muitos solicitantes são rejeitados, recomenda fontes de dados para ajudar a reduzir falsos positivos e, assim, permite elevar as taxas de aprovação. O mais importante: acreditamos que a IA pode facilitar a vida de quem cria decisões sem tirar o controle e a transparência sobre como as decisões são tomadas, em última instância.
Há muitas partes da camada de lógica em que a IA pode ajudar. Descobrimos que a IA é muito boa em definir casos de teste, ajudando você a encontrar lacunas na sua lógica que poderiam passar despercebidas. Da mesma forma, a IA pode ajudar a resolver erros inesperados no tratamento de casos de borda ou escrever código para capturar lógica de negócio complexa, difícil de expressar apenas com blocos de low-code.
Outro ponto forte da IA é a sumarização. Por exemplo, ela pode explicar a lógica escrita por outras pessoas, resumir alterações de forma legível e anotar grafos de decisão com títulos e descrições.
Como a IA afeta a camada de modelos
O mais importante é que os próprios modelos de IA são úteis como parte de uma decisão, por exemplo, para classificar uma transação, raciocinar sobre uma entrada de texto ou redigir um e-mail personalizado para um cliente que pode ser revisado e enviado por uma pessoa em segundos. Como plataforma de decisão, facilitamos testar novos modelos, ver como eles se saem e avaliá-los no contexto da decisão. Dado o rápido progresso dos modelos de IA, é importante manter acima deles uma camada que seja agnóstica ao modelo subjacente. Caso contrário, você fica preso ao modelo de um fornecedor específico, que pode se tornar obsoleto em poucos meses.
Além disso, a IA também pode ajudar a treinar modelos whitebox menores para uso na tomada de decisão. No crédito ao consumidor, a Fair Credit Reporting Act exige explicações precisas para a negação de crédito a um solicitante. O Consumer Financial Protection Bureau deixou claro que essa exigência será mantida na era da IA. Por isso, os credores costumam escolher modelos explicáveis por concepção ou usar algoritmos pós-decisão para explicar a saída do modelo. Nos dois cenários, a assistência de IA pode ajudar a treinar, avaliar e monitorar esses modelos.
Guardrails
Os serviços financeiros têm padrões muito mais altos de segurança de dados, privacidade e governança do que a maioria dos outros setores, e com razão. Isso cria armadilhas quando se corre para adotar IA.
Por exemplo, a maioria dos provedores de modelos hospedados reserva-se o direito de revisar os dados que passam por seus sistemas. Isso pode não importar em alguns casos de uso, como ao lidar com informações públicas de empresas. No entanto, torna-se problemático ao lidar com dados sensíveis de consumidores, como relatórios de crédito, para os quais a maioria dos provedores de modelos hospedados não está adequadamente preparada. Simplesmente embrulhar o ChatGPT não resolve.
Da mesma forma, decisões críticas exigem um alto nível de reprodutibilidade. Nossos clientes esperam poder explicar decisões a clientes, auditores e reguladores mesmo anos depois. Isso exige procedimentos rigorosos de versionamento e aprovação de modelos, prompts e dados de entrada. Portanto, a adoção de IA só será possível com uma camada abrangente de infraestrutura de gestão de decisões ao redor dela.
Roadmap da Taktile
Na Taktile, temos um pipeline completo de recursos de IA alinhados à nossa visão de ajudar instituições financeiras a melhorar a forma como tomam decisões críticas em escala. Ao fazer isso, vamos focar em valor, e não em hype, e respeitaremos os guardrails rigorosos e os altos padrões que nossos clientes esperam de nós.
Diversas pessoas deram comentários valiosos sobre versões anteriores deste post. Em particular, gostaria de agradecer a Peter Tegelaar pela conversa sobre como eles combinam ideias tradicionais com LLMs na Stenn. Também gostaria de agradecer a Matt Mollison por sugerir enfatizar a dimensão de negócio na camada de lógica.
Leituras adicionais
- “Towards Generative Credit”, de Matt Mollison e Matt Flannery (Branch)
Perguntas frequentes (FAQs)
As instituições podem gerar valor combinando modelos de IA com dados de alta qualidade e lógica de decisão. Os large language models (LLMs) podem estruturar dados não estruturados, aprimorar o risk scoring e apoiar decisões de crédito e antifraude, mantendo a conformidade com os requisitos regulatórios.
A pirâmide destaca Dados, Lógica e Modelos como as camadas fundamentais para decisões financeiras eficazes. Dados de alta qualidade, lógica de decisão clara e modelos de IA ou ML, em conjunto, melhoram a precisão, a transparência e a conformidade regulatória em crédito, underwriting e gestão de fraude.
A IA pode sinalizar lacunas nas regras de decisão e resumir e anotar lógicas complexas, ajudando as equipes a manter controle, transparência e eficiência operacional.
Sem a infraestrutura adequada, as instituições financeiras correm o risco de violações de privacidade de dados, descumprimento regulatório e decisões não reproduzíveis. Guardrails como versionamento de modelos, procedimentos rigorosos de aprovação e gestão segura de dados são essenciais para uma adoção segura de IA.
Os modelos de IA podem classificar transações, raciocinar sobre entradas de texto ou gerar recomendações de decisão. Combinada com modelos explicáveis ou pós-decisão, a IA apoia decisões de crédito em conformidade, detecção de fraude e relacionamento com o cliente, mantendo transparência e auditabilidade. Veja a IA em ação na Decision Platform da Taktile.