Aprendizagem Estatística Aplicada à Previsão de Default de Crédito

Resumo

OBJETIVO
Esta pesquisa tem por objetivo comparar a capacidade preditiva das principais técnicas de aprendizagem estatística atualmente utilizadas nacional e internacionalmente para tratamento do problema de risco de crédito, analisando-as à luz de sua eficiência preditiva.

METODOLOGIA
No presente estudo foram utilizados os dados da base German Credit Dataset. As estimações foram obtidas à partir do pacote e1071 aplicado ao software estatístico R®. Foram testadas, comparativamente, as técnicas: Análise Discriminante, Regressão Logística, Redes Bayesianas Naive Bayes, kdB-1, kdB-2, SVC e SVM. Como ponto de corte para Análise Discriminante, Regressão Logística, Redes Bayesianas Naive Bayes, kdB-1, kdB-2 foi empregada a curva ROC - Receiver Operating Characteristic. Os resultados foram comparados com base na acurácia (medida pelo método ACC) e pelo critério de custo pelo erro (medido com base nos critérios trazidos pela base de dados) e os resultados foram apresentados sob o formato de uma matriz de confusão e validados pelo método k-Fold Cross-Validation.

RESULTADOS E CONCLUSÕES
Analisando os resultados das técnicas o SVM apresentou o maior número médio de acertos, obtendo índice de acurácia 86.6%, bem como as maiores médias de acerto em termos de previsão dentre todos os modelos, com aproximadamente 85,5% de acertos na previsão de default.
Pela análise do custo total é possível verificar que o custo do erro do SVM foi de 50.46, sendo que 41.44% desse custo foi produzido por erros de falso positivo e 58.56% do custo foi produzido por erro de falso negativo. Este foi o menor custo dentre os custos produzidos pelas técnicas estudadas, sendo aproximadamente 42% menor que o segundo colocado na análise. Para ambas as métricas (ACC e custos do erro) observou-se a superioridade do método SVM – Support Vector Machine, sugerindo que este método apresenta características que potencializam o seu poder preditivo para o caso estudado. Tais resultados corroboram com indicações de autores que mostram que a superioridade do SVM se deve ao fato de que métodos ensemble, como é o caso do SVM, em dados desbalanceados.

IMPLICAÇÕES PRÁTICAS
Com base nos resultados é possível verificar que a evolução das técnicas de aprendizagem estatística tem contribuído para a maximização dos resultados de classificação, sendo este o problema central da análise de crédito. Pela quantidade de estudos realizados internacionalmente e destacados na bibliografia, este se mostra um campo fértil para o desenvolvimento de pesquisas futuras, especialmente para comparação dos resultados alcançados por este estudo. Especificamente sobre o SVM, os resultados corroboram com estudos que indicam boa aderência de tal modelo para situações reais nas quais o banco de dados a ser classificado é desbalanceado.

PALAVRAS-CHAVE
Risco de crédito, Aprendizagem estatística, previsão de default.

 
STATISTICAL LEARNING APPLIED TO CREDIT DEFAULT PREDICTION

OBJECTIVE
This research compares the predictive potential of the main statistical learning techniques currently used in both nationally and internationally extent for the treatment of credit risk problem, by analyzing their predictive efficiency.

METHODOLOGY
In this study we have used the data base nominated German Credit Dataset. The estimates were obtained from e1071 package applied in R®. The comparatively seven techniques were tested: linear discriminant analysis, logistic regression, Naive Bayes, KDB-1, KDB-2, SVC and SVM. To discriminant analysis, logistic regression, Naive Bayes, KDB-1, KDB-2 employed the ROC curve - Receiver Operating Characteristic as a cut-off point. The results were compared based on accuracy (measured by the ACC technique) and on error cost criterion (measured by criteria observed in the database studied) and the results were presented in the confusion matrix format and validated by the k-fold Cross Validation technique.

RESULTS AND CONCLUSIONS
The results showed the highest average number of SVM technique hits, getting the highest accuracy (86.6%), as well as the biggest hits in terms of average forecast among all the other models with
approximately 85.5% of correct default prediction.
By the total cost results, we can verify that the SVM error cost was 50.46, with 41.44 percent of this cost produced by false positive errors and 58.56% by false negative error. It was the lowest cost among the costs produced by the studied techniques, approximately 42% lower than the second one.
For both metrics (ACC and error costs) this study observed superiority of SVM method suggesting this method has characteristics that enhance the predictive power for the case studied. These results corroborate with results of authors that shows the SVM’s superiority is due to the ensemble methods such as SVM, by their nature, are more effective for unbalanced data.

PRACTICAL IMPLICATIONS
Based on the results is possible to check that the evolution of the statistical learning techniques have contributed to the maximization of classification results, being this the central problem of credit analysis. The amount of studies conducted internationally and showed in the bibliographical study, this is a fertile field to the future research development, especially to compare the results obtained by this study. About the SVM method, the results corroborate studies that indicate good adhesion of such model to real situations in which the dataset’s unbalanced.

KEYWORDS
Credit Risk, Statistical Learning, Default Prediction.