Com o avanço do uso de Big Data e técnicas de inteligência artificial, como o Machine Learning, muitas instituições financeiras passaram a adotar modelos automatizados para prever o risco de inadimplência de clientes. A ideia dominante no setor é que quanto mais dados um modelo utiliza, mais confiável ele será. No entanto, um estudo recente da FGV EAESP questiona essa suposição e propõe uma nova forma de avaliar o risco de uso inadequado desses modelos. Isso é algo que pode impactar diretamente bancos, reguladores e até pequenas empresas que buscam crédito.

Os pesquisadores da FGV EAESP Rafael Schiozer e Alan de Genaro conduziram a pesquisa, em conjunto com Valter Yoshida Jr. e Toni R. E. dos Santos, do Banco Central do Brasil, e a publicaram na revista The Quarterly Review of Economics and Finance. Os autores desenvolveram uma métrica chamada CSMR (Credit Scoring Model Risk) para medir o risco de modelos de crédito que usam inteligência artificial. Em vez de confiar apenas em medidas tradicionais de desempenho, como acurácia ou AUC, o CSMR avalia o risco de se tomar decisões erradas por causa de um modelo mal calibrado ou mal utilizado. Para isso, eles analisaram mais de 200 mil empréstimos a micro e pequenas empresas na cidade de São Paulo. Por fim, foram mais de 100 variáveis diferentes coletadas do Banco Central, Receita Federal e IBGE.

Quanto mais dados, melhor?

Um dos achados mais surpreendentes do estudo é que modelos de crédito treinados com dados de apenas um banco apresentaram menor risco de erro do que modelos que usaram dados de vários bancos juntos. Ou seja, aumentar o volume de dados, especialmente quando eles vêm de fontes muito diferentes, pode acabar diminuindo a capacidade preditiva dos modelos, e não aumentando. Isso se deve ao que os autores chamam de “uso inadequado” de modelos, quando se tenta aplicar uma lógica generalista a contextos muito específicos.

O segredo está na qualidade, não na quantidade

Portanto, o estudo propõe uma mudança importante na forma como os bancos e reguladores devem enxergar os modelos de crédito. Sendo assim, não basta ter um modelo com alta taxa de acerto numa amostra de treinamento. É fundamental medir e entender o risco de uso indevido, pois os parâmetros estimados podem não funcionar numa outra amostra. A métrica CSMR pode ser usada tanto para decisões gerenciais — como definir a política de concessão de crédito — quanto para fins regulatórios, como precificação de risco e alocação de capital.

Para as micro e pequenas empresas, que enfrentam barreiras para conseguir crédito, essa pesquisa mostra que o caminho não está necessariamente na quantidade de dados. Está, sim, na qualidade e na adequação desses dados ao seu contexto.

Portanto, mais dados nem sempre significam melhores decisões. O estudo propõe uma ferramenta prática e acessível para bancos e reguladores avaliarem o risco real dos modelos de crédito. Assim, é possível promover decisões mais seguras e eficazes, e uma melhor compreensão e mensuração dos riscos — especialmente em tempos de digitalização acelerada.

Leia o artigo na integra.

Nota: alguns artigos podem apresentar restrições de acesso.