IA sem exageros: como extrair o verdadeiro valor dos modelos de linguagem de grande escala (LLMs) sem se distrair

Na Taktile, temos uma vasta experiência na integração de aprendizado de máquina (ML) e inteligência artificial (IA) em sistemas de gestão de risco. Meu cofundador, Maik Taro Wehmeyer, e eu dedicamos a maior parte de nossa carreira profissional a reformular a forma como bancos e seguradoras conduzem suas decisões automatizadas. O primeiro investidor da Taktile foi um dos inventores do AlphaFold. E, como nossa base de clientes inclui algumas das instituições financeiras mais inovadoras do mundo, testemunhamos diariamente como o setor financeiro se beneficia da adoção da IA. Nem é preciso dizer que estamos extremamente entusiasmados com o potencial da IA para melhorar a forma como as equipes de risco tomam decisões críticas em grande escala. 

É notoriamente difícil extrair valor real dos sistemas de IA e, infelizmente, a tendência dos fornecedores de prometer mais do que podem cumprir não ajuda em nada: no início deste ano, uma empresa publicou um vídeo de demonstração impressionante do seu “Engenheiro de Software de IA”, o que gerou grande entusiasmo na comunidade e um aumento vertiginoso na avaliação da empresa. Mais tarde, descobriu-se que as afirmações impressionantes eram, , na melhor das hipóteses, enganosas. Este é apenas um exemplo do chamado “AI washing”. A prática tornou-se tão comum que a Comissão de Valores Mobiliários chegou a emitir um alerta aos investidores alertando os investidores sobre alegações falsas sobre as capacidades da IA. Escrevemos este guia para ajudar as equipes de risco a perceberem as demonstrações manipuladas, evitarem cair na armadilha de charlatões e, em vez disso, se concentrarem no que realmente faz a diferença.

Dados, lógica e modelos são os três ingredientes essenciais para boas decisões.

Dados de alta qualidade são a base de toda boa decisão. Sem sinais confiáveis, não importa o que venha a ser acrescentado — qualquer conclusão será pouco confiável. Portanto, investir em bases de dados — seja incorporando fontes de dados externas, seja aprimorando a forma como os dados internos são gerados, refinados e monitorados — é quase sempre uma atividade de grande impacto. Especialmente quando se pretende alimentar esses dados em um modelo posterior.

Na Taktile, estamos convencidos de que a camada lógica para sistemas de decisão veio para ficar e que tanto os modelos quanto a lógica coexistirão para equilibrar os pontos fortes e fracos um do outro. Por consequência, mais modelos levarão a mais lógica, e não a menos, pois a lógica é excelente para expressar intenções estratégicas, conhecimento especializado do setor e restrições regulatórias. Por exemplo, sua política de crédito conterá limites estabelecidos pelos parceiros de financiamento. Sua política de preços será limitada tanto pelos concorrentes quanto pelo ambiente jurídico. E um fator importante em suas decisões será o julgamento prospectivo de sua equipe de crédito. Nada disso pode ser aprendido a partir de dados históricos, nem deveria.

Os modelos apresentam-se numa ampla variedade de formas e formatos. Podem assumir a forma de pontuações adquiridas de fornecedores fraudulentos ou agências de crédito. Podem assumir a forma de previsões de modelos estatísticos ou de aprendizado de máquina autogerenciados, por exemplo, a partir de regressões logísticas ou árvores reforçadas. E, cada vez mais, assumem a forma de texto, código e dados gerados por grandes modelos de linguagem (LLMs). 

Os modelos são excelentes quando é provável que o futuro seja semelhante ao passado. Por exemplo, se você coletou dados significativos sobre comportamentos fraudulentos, pode usar um modelo para identificar esse padrão com precisão e sinalizá-lo. Isso funcionará bem desde que o padrão seja estável e as conclusões sejam generalizáveis.

A razão para apresentar os ingredientes na forma de uma pirâmide baseia-se em nossa experiência com centenas de implementações de modelos. Concentrar-se exclusivamente no desenvolvimento do modelo costuma ser ineficaz. Na maioria das vezes, os principais fatores para melhorar a qualidade das decisões residem na melhoria dos dados subjacentes e na reflexão profunda sobre como as pontuações do modelo se traduzem em resultados de negócios por meio da camada lógica. É por isso que criamos o Taktile tendo esses três ingredientes em mente: um profundo mercado de dados, uma camada lógica intuitiva e transparente e a capacidade de incorporar modelos de ponta nas decisões.

A Pirâmide das Boas Decisões molda nossa visão e nossa abordagem em relação à IA, que pode ajudar em cada etapa do processo de tomada e aprimoramento de decisões.

A IA é excelente para transformar dados não estruturados em dados estruturados, que podem então ser inseridos em modelos e painéis de avaliação. Em nossa documentação do produto, por exemplo, mostramos como usar a integração com a OpenAI para transformar descrições de negócios em códigos NAICS para classificação setorial. Esse exemplo ilustra como uma entrada irregular baseada em texto pode ser transformada em algo que você pode usar sistematicamente para aplicar as restrições setoriais da sua própria empresa.

A IA também pode ajudar a apresentar informações complexas de maneira mais natural. Por exemplo, utilizamos com sucesso a IA para explicar, em linguagem acessível, por que um modelo de aprendizado de máquina sinalizou uma transação para revisão manual, a fim de melhorar a qualidade da revisão e economizar tempo.

Por fim, a IA pode ajudar a identificar padrões onde outras técnicas se mostram insuficientes. Por exemplo, constatamos que modelos pré-treinados (e ajustados) são mais eficazes na classificação de transações bancárias do que modelos treinados do zero, provavelmente devido ao conhecimento sobre o mundo que está codificado em seus pesos. Uma melhor classificação, por sua vez, ajuda a aprimorar as decisões de concessão de crédito que se baseiam em sinais transacionais.

Pode parecer contraintuitivo pensar em IA quando se fala de lógica, mas descobrimos que a IA é muito útil para desenvolver e aprimorar a lógica de decisão. Imagine um copiloto que identifica pontos de estrangulamento no processo de decisão — onde muitos candidatos são rejeitados —, recomenda fontes de dados para ajudar a reduzir os falsos positivos e, assim, permite aumentar as taxas de aprovação. Acima de tudo, acreditamos que a IA pode facilitar a vida dos responsáveis pelas decisões sem tirar o controle e a transparência sobre como as decisões são, em última instância, tomadas. 

Há muitos aspectos da camada lógica em que a IA pode ajudar. Descobrimos que a IA é muito eficaz na definição de casos de teste, ajudando você a identificar falhas na sua lógica que, de outra forma, poderiam passar despercebidas. Da mesma forma, a IA pode ajudar a resolver erros inesperados ao lidar com casos extremos, ou escrever código para capturar uma lógica de negócios complexa que é difícil de expressar apenas com blocos de construção de baixo código.

Outro ponto forte da IA é a síntese. Por exemplo, ela pode explicar a lógica criada por outras pessoas, resumir alterações de forma compreensível para os humanos e anotar gráficos de decisão com títulos e descrições.

Acima de tudo, os modelos de IA são, por si só, úteis no processo de tomada de decisão, por exemplo, para classificar uma transação, analisar entradas textuais ou redigir um e-mail personalizado para um cliente, que pode ser revisado e enviado por um ser humano em questão de segundos. Como plataforma de decisão, facilitamos a experimentação de novos modelos, a observação de seu desempenho e a avaliação deles em seu contexto de decisão. Dado o rápido avanço dos modelos de IA, é importante manter uma camada sobre os modelos que seja independente do modelo subjacente. Caso contrário, você ficará preso ao modelo de um provedor específico que pode se tornar obsoleto em poucos meses.

Além disso, a IA também pode ajudar a treinar modelos de caixa aberta (whitebox) de menor porte para uso na tomada de decisões. No setor de crédito ao consumidor, a Lei de Relatórios de Crédito Justos exige que sejam fornecidas explicações precisas para a recusa de crédito a um requerente. O Departamento de Proteção Financeira do Consumidor deixou claro que essa exigência será mantida na era da IA. Portanto, os credores costumam optar por modelos que são explicáveis por natureza ou utilizam algoritmos pós-decisão para explicar os resultados do modelo. Em ambos os cenários, a assistência da IA pode ajudar a treinar, avaliar e monitorar tais modelos. 

O setor de serviços financeiros tem padrões muito mais rigorosos em matéria de segurança de dados, privacidade e governança do que a maioria dos outros setores — e com razão. Isso gera riscos quando se apressa a adoção da IA.

Por exemplo, a maioria dos provedores de modelos hospedados reserva-se o direito de analisar os dados que transitam por seus sistemas. Isso pode não ser relevante em alguns casos de uso, como quando se trata de informações corporativas disponíveis publicamente. No entanto, torna-se problemático quando se lida com dados confidenciais de consumidores, como relatórios de crédito, para os quais a maioria dos provedores de modelos hospedados não está devidamente preparada. Simplesmente envolver o ChatGPT não é suficiente.

Da mesma forma, decisões críticas exigem um alto nível de reprodutibilidade. Nossos clientes esperam poder explicar essas decisões a seus próprios clientes, auditores e órgãos reguladores, mesmo anos depois. Isso requer procedimentos rigorosos de controle de versões e aprovação de modelos, prompts e dados de entrada. Portanto, a adoção da IA só será possível com uma infraestrutura abrangente de gerenciamento de decisões em torno dela.

Na Taktile, temos um amplo portfólio de recursos de IA que se alinham à nossa visão de ajudar instituições financeiras a aprimorar a forma como tomam decisões críticas em grande escala. Ao fazer isso, vamos nos concentrar no valor agregado, em vez de seguir modismos, e respeitaremos os rigorosos parâmetros de segurança e os elevados padrões que nossos clientes esperam de nós.

Várias pessoas contribuíram com comentários úteis sobre as versões preliminares deste post. Em especial, gostaria de agradecer a Peter Tegelaar pela discussão sobre como eles combinam conceitos tradicionais com os LLMs na Stenn. Também gostaria de agradecer a Matt Mollison por sugerir que se enfatizasse a dimensão empresarial na camada lógica.

P: Como as instituições financeiras podem obter o verdadeiro valor da IA e dos modelos de linguagem grande (LLMs)?

R: As instituições podem gerar valor ao combinar modelos de IA com dados de alta qualidade e lógica de decisão. Os grandes modelos de linguagem (LLMs) podem estruturar dados não estruturados, aprimorar a pontuação de risco e apoiar decisões de crédito e combate à fraude, mantendo a conformidade com os requisitos regulatórios. 

P: O que é a pirâmide das boas decisões na gestão de riscos?

R: A pirâmide destaca os dados, a lógica e os modelos como camadas fundamentais para a tomada de decisões financeiras eficazes. Dados de alta qualidade, uma lógica de decisão clara e modelos de IA ou ML, em conjunto, aumentam a precisão, a transparência e a conformidade regulatória nas áreas de crédito, subscrição e gestão de fraudes.

P: Como a IA aprimora a lógica de decisão para os credores?

R: A IA pode identificar lacunas nas regras de decisão e resumir e anotar lógicas complexas, ajudando as equipes a manter o controle, a transparência e a eficiência operacional. 

P: Quais são os riscos de adotar a IA sem medidas de proteção adequadas?

R: Sem uma infraestrutura adequada, as instituições financeiras correm o risco de sofrer violações de privacidade de dados, descumprimento de regulamentações e decisões não reproduzíveis. Medidas de proteção, como o controle de versões dos modelos, procedimentos rigorosos de aprovação e gestão segura de dados, são essenciais para uma adoção segura da IA. 

P: Como os modelos de IA podem ser aplicados com segurança em sistemas de crédito e de risco?

R: Os modelos de IA podem classificar transações, analisar entradas textuais ou gerar recomendações de decisão. Aliada a modelos explicáveis ou de pós-decisão, a IA auxilia na tomada de decisões de crédito em conformidade com as normas, na detecção de fraudes e no engajamento do cliente, mantendo a transparência e a auditabilidade. Veja a IA em ação na Plataforma de Decisão da Taktile.