1. Árvore de Decisão

As árvores de decisão são uma técnica popular de aprendizado de máquina supervisionado usada para classificação e regressão.

Neste projeto, foi utilizada a base de dados Credit Score Classification, que reúne informações bancárias essenciais e uma grande quantidade de registros relacionados a crédito.

O objetivo principal é aplicar árvores de decisão para segmentar indivíduos em diferentes faixas de score de crédito, contribuindo para a identificação de perfis de risco e para o apoio em processos de decisão financeira.

Imports:

Leitura da base:

Exploração dos Dados¶

A análise inicial do conjunto de dados inclui a descrição da natureza das variáveis, estatísticas descritivas e visualizações para compreender a distribuição e relevância das informações.

Descrição e estatísticas descritivas das colunas¶

A base contém 28 colunas, resumidas abaixo:

Tipagem das colunas¶

O dataset é composto por apenas três tipos de dados: Object, Float64 e Int64:

• Object(20): ID, Customer_ID, Month, Name, Age, SSN, Occupation, Annual_Income, Num_of_Loan, Type_of_Loan, Num_of_Delayed_Payment, Changed_Credit_Limit, Outstanding_Debt, Credit_History_Age, Payment_of_Min_Amount, Amount_invested_monthly, Monthly_Balance, Payment_Behaviour, Credit_Score, Credit_Mix.
• Float64(4): Monthly_Inhand_Salary, Num_Credit_Inquiries, Credit_Utilization_Ratio, Total_EMI_per_month.
• Int64(4): Num_Bank_Accounts, Num_Credit_Card, Interest_Rate, Delay_from_due_date.

Variável Alvo¶

O modelo tem como variável alvo (target) a coluna Credit_Score, que representa a classificação de crédito dos clientes.

A distribuição da variável é a seguinte:

• Standard: 53.174 (53,2%)
• Poor: 28.998 (29,0%)
• Good: 17.828 (17,8%)

Essa distribuição evidencia um leve desbalanceamento de classes.

Amostra dos Dados¶

A seguir, um exemplo com 3 linhas de um total de 100.000 registros:

Pré-processamento¶

Nesta etapa foi realizada a limpeza dos dados e o tratamento de valores ausentes, além da adequação da tipagem das colunas para que estivessem compatíveis com o modelo.
Esse processo foi fundamental para garantir consistência e qualidade antes do treinamento da árvore de decisão.

Alteração de Tipagem dos Dados¶

Grande parte das colunas do dataset estavam no formato object.
O primeiro passo foi padronizar as tipagens, ajustando para float64, int64 e category, conforme a natureza de cada variável.

Apenas alteração de tipo¶

Variáveis que puderam ser convertidas diretamente com astype() no Pandas:

Necessidade de limpeza antes da conversão¶

Colunas que apresentavam valores inválidos (ex.: '_') e precisaram de tratamento prévio:

Feature engineering (transformação em categorias)¶

Variáveis com grande dispersão foram agrupadas em faixas de valores para reduzir ruído e melhorar a identificação de padrões:

Filtragem de registros inconsistentes (valores fora de faixa):

Criação de variáveis categorizadas a partir de faixas:

Remoção de registros inválidos:

Conversão final para variáveis categóricas:

Colunas Retiradas do Modelo¶

Durante o processo de preparação dos dados, algumas variáveis foram consideradas irrelevantes ou inadequadas para a análise de risco. A exclusão foi feita para reduzir ruído, melhorar a qualidade das features e aumentar a robustez preditiva do modelo.

As remoções ocorreram pelos seguintes motivos:

• ID, Customer_ID, Name, SSN
  Identificadores únicos que não possuem valor preditivo, apenas acrescentando variabilidade desnecessária.

• Month
  A variável não apresentou relação consistente com a pontuação de crédito, sendo descartada por falta de interpretabilidade.

• Type_of_Loan
  Apresentou registros inconsistentes, com baixa padronização dos valores, dificultando a extração de informação relevante.

• Credit_History_Age, Monthly_Balance, Amount_invested_monthly, Age, Monthly_Inhand_Salary, Annual_Income, Credit_Utilization_Ratio, Total_EMI_per_month
  Apesar de importantes, essas variáveis possuíam valores ruidosos ou dispersos em sua forma original.
  Foram reaproveitadas por meio de feature engineering, originando versões ajustadas e mais informativas.

Remoção de colunas:

Colunas Utilizadas no Modelo¶

Após os ajustes, foram mantidas 21 colunas efetivas para a modelagem. A variável alvo (Credit_Score) foi separada do conjunto de preditores.

• Float64 (3):
  Num_Credit_Inquiries, Changed_Credit_Limit, Outstanding_Debt.

• Int64 (6):
  Num_Bank_Accounts, Num_Credit_Card, Interest_Rate, Delay_from_due_date, Num_of_Loan, Num_of_Delayed_Payment.

• Category (12):
  Credit_History_Age_Ajustado, Monthly_Balance_Ajustado, Amount_invested_monthly_Ajustado, Age_Ajustado, Monthly_Inhand_Salary, Annual_Income, Occupation, Credit_Mix, Payment_of_Min_Amount, Payment_Behaviour, Monthly_Inhand_Salary_Ajustado, Total_EMI_per_month_Ajustado

Linhas Retiradas do Modelo¶

Foram removidas 71.635 linhas que continham valores nulos ou nulos lógicos, resultando em 28.365 registros disponíveis para o treinamento do modelo.

Variável Alvo Após a Limpeza¶

• Standard: 22.436
• Poor: 10.370
• Good: 7.049

Remoção de linhas com informações nulas e reset de index:

Divisão dos Dados¶

Os dados foram divididos em conjuntos de treino e teste utilizando a função train_test_split do scikit-learn:

• 70% da base para treino
• 30% da base para teste

Treinamento do Modelo¶

O modelo utilizado foi a Decision Tree (Árvore de Decisão), considerando a variável alvo Credit_Score.

Avaliação do Modelo¶

Desempenho Geral¶

O modelo obteve uma acurácia de aproximadamente 69%, o que indica uma performance razoável para um problema de classificação em três classes.

• Macro avg F1-score: 0.6591 → equilíbrio médio entre as classes, mas com variação de desempenho.
• Weighted avg F1-score: 0.6949 → indica que, considerando o peso proporcional das classes, o modelo se comporta de forma consistente com a acurácia.

Desempenho por Classe¶

• Classe 0 (score mais baixo)

  • Precision: 0.5632
  • Recall: 0.5616
  • F1-score: 0.5624
  • Observação: desempenho limitado; dificuldade do modelo em identificar corretamente instâncias dessa classe.

• Classe 1 (score intermediário)

  • Precision: 0.6606
  • Recall: 0.6751
  • F1-score: 0.6678
  • Observação: resultado equilibrado e consistente, embora ainda com margem para melhorar recall.

• Classe 2 (score mais alto)

  • Precision: 0.7508
  • Recall: 0.7434
  • F1-score: 0.7471
  • Observação: melhor desempenho entre as classes, indicando que o modelo consegue distinguir bem essa categoria.

Importância das Variáveis¶

As variáveis mais relevantes para a árvore de decisão foram:

1. Outstanding_Debt (0.2013)
2. Credit_Mix (0.1243)
3. Credit_History_Age_Ajustado (0.0994)
4. Changed_Credit_Limit (0.0849)
5. Delay_from_due_date (0.0831)
6. Interest_Rate (0.0723)

Esses resultados sugerem que endividamento, composição de crédito e histórico de crédito são os principais determinantes na classificação do score de crédito. Variáveis como Payment_of_Min_Amount e Monthly_Balance_Ajustado tiveram relevância mínima, quase desprezível.

Matriz de Confusão¶

A matriz de confusão mostra:

• Classe 0: muitos casos classificados incorretamente como classe 2.
• Classe 1: apresenta melhor equilíbrio, mas ainda há confusão com classe 2.
• Classe 2: desempenho sólido, com a maior parte dos exemplos classificados corretamente.

Isso confirma que o modelo tem tendência a favorecer a classe 2, enquanto a classe 0 é a mais prejudicada em termos de recall.

Relatório Final¶

O projeto demonstrou a aplicação prática de árvores de decisão para classificar clientes em diferentes faixas de score de crédito, a partir de um conjunto de dados robusto e diversificado.
As etapas percorreram desde a exploração dos dados, passando pelo pré-processamento (limpeza, transformação e feature engineering), até o treinamento do modelo e a avaliação de desempenho.

Principais Achados¶

• O modelo atingiu uma acurácia de ~69%, com desempenho diferenciado entre as classes.
• As variáveis mais relevantes foram Outstanding_Debt, Credit_Mix, Credit_History_Age_Ajustado, Changed_Credit_Limit, Delay_from_due_date e Interest_Rate, reforçando a importância de fatores relacionados a endividamento, composição de crédito e histórico financeiro.
• Observou-se uma tendência do modelo a favorecer a classe de maior score (classe 2), enquanto a classe mais baixa apresentou maiores dificuldades de classificação, refletindo um desafio de desbalanceamento de classes.

Limitações Identificadas¶

• Exclusão de mais de 70% das linhas devido a valores nulos ou inconsistentes, reduzindo a representatividade da amostra.
• Ruído e dispersão em variáveis financeiras contínuas, exigindo maior esforço em feature engineering.
• Desequilíbrio nas classes de crédito, com predominância da categoria "Standard".

Possíveis Melhorias¶

1. Balanceamento de Classes

   • Aplicar técnicas como SMOTE, RandomUnderSampler ou Class Weights para reduzir o viés da árvore de decisão.

2. Exploração de Modelos Mais Avançados

   • Testar Random Forest ou Gradient Boosting (XGBoost, LightGBM, CatBoost), que geralmente superam a árvore de decisão simples em desempenho e generalização.

3. Feature Engineering Avançado

   • Criar variáveis derivadas de faixas de renda, razão dívida/renda, índices de atraso acumulado, entre outras métricas financeiras.

4. Cross-Validation

   • Implementar validação cruzada (K-Fold ou Stratified K-Fold) para obter uma avaliação mais robusta e reduzir o risco de overfitting.

5. Pipeline Automatizado

   • Construir um pipeline de pré-processamento + modelagem no scikit-learn, garantindo maior reprodutibilidade e facilidade de ajustes futuros.

Conclusão¶

O estudo evidencia que as árvores de decisão podem ser úteis para segmentação de crédito, mas também ressalta os desafios práticos de qualidade dos dados e balanceamento de classes. A evolução do projeto deve caminhar em direção a modelos mais sofisticados, engenharia de variáveis financeiras e estratégias de validação robustas, a fim de aumentar a confiabilidade dos resultados e sua aplicabilidade em cenários reais de análise de risco de crédito.