[R] R로 구현하는 의사결정나무(Decision Tree)

의사결정트리는 데이터를 분류하는 모델중 하나인데, 특정 기준에 따라 데이터들이 분류되는 과정을 반복한다.

최종적인 목표는 각 노드들의 엔트로피 지수를 0으로, 즉 한 노드(공간)에 같은 특성을 가진 데이터들만 모이게 하는 것이다.

아래 그림을 보자.

해당 트리는 Income와 Lot size를 기준으로 데이터들을 동질한 집단으로 모으는 과정을 거쳤다. 

즉 선과 선으로 둘러쌓인 공간은 한 개의 노드와 마찬가지이며, 각 선들은 처음 그림에서의 분류 기준과 같은 것이다.

트리의 분류가 끝나게 되면 바로 위 그림처럼 특정 공간에는 같은(동질의)데이터만 오거나, 

오차율을 무시할 수 있을만큼 동질적인 수준의 데이터가 모이게 된다.

이제 코드와 함께 보자

credit.csv

저번 csv파일 입출력 포스팅에 썼던 은행 고객 데이터를 다시 사용한다.

우리가 예측해야하는 값은 17번째 열인 default 인데, 이 deault행은 해당 고객이 

"대출을 기간 내에 상환할 것인지"에 대해 Yes(상환) No(상환실패) 로 분류한 것이다. 

즉 1행부터 16행까지 다양한 변수들에 따라서 상환 여부를 예측하는 모델을 만들어야 한다.

#crdit data 를 이용한 은행 대출 확인#
# step1. prepare data set#
credit <- read.csv("credit.csv",stringsAsFactors = TRUE)
View(credit)
 
#대출지원자 특성 확인 
table(credit$checking_balance)
table(credit$savings_balance) #저축해놓은 자산 
 
#대출의 특성 확인
summary(credit$months_loan_duration) #대출기간 4-72달 
#평균적으로는 18개월 
summary(credit$amount) #대출액 총액 
 
#분류 액수 확인
table(credit$default) #협의한 기간 내 반납했는지 

우선 csv를 읽어온 후, 간단히 몇가지 변수들에 대해 요약통계를 출력해본다.

그리고 마지막 table(칼럼) 명령어를 확인하여, 해당 칼럼내 변수들의 비율을 확인한다

즉 우리가 오늘 사용할 데이터는 상환 여부가 Yes 인 것이 700개, No 인 것이 300개가 있다는 것이다. 

#훈련과 테스트 데이터에 대한 무작위 샘플 생성
#예제와 같은 무작위 수열을 사용하기 위해 set.seed(); 사용
set.seed(12345)
credit_rand<- credit[order(runif(1000)),]
#1000개의 데이터를 난수로 섞겠다
 
#credit과 credit_rand를 비교
summary(credit$amount)
summary(credit_rand$amount)
head(credit$amount)
head(credit_rand$amount)
#순서는 바뀐거지만 내용은 안변함 

해당 명령어를 사용하고 요약통계를 확인하면 순서는 변했지만, 내용 자체는 변하지 않았음을

Head() 명령어와 summary() 명령어로 확인할 수 있다. 

 
#데이터 쪼개기 (학습 / 검증용) 
credit_train<-credit_rand[1:900,]
credit_test<-credit_rand[901:1000,]
 
#분류 변수의 비율 확인 - 트래이닝과 테스트 셋에 대한 비율 
prop.table(table(credit_train$default))
prop.table(table(credit_test$default))

ㄷ

데이터를 학습용으로 900개, 검증용으로 100개로 나눈다.

이제 준비는 끝났고, 모델을 생성해보도록 하자.

#######################
##step2 모델 생성######
#######################
 
#가장 단순한 결정 트리 생성
#install.packages("C50")
library(C50)
#?C5.0
View(credit_train)
credit_model<-C5.0(credit_train[-17],credit_train$default)
#(17열을 빼고 모델을 생성한다 = 디폴트, 예측해야하는 값이기 때문)
#뒤에는 예측하고싶은 목표변수 = 디폴트값 
#x=샘플 900중 16개변수 가지고 예측 / 트리사이즈 67개 

#트리 상세하게 보려면
summary(credit_model)
#제일아래 보면 ㅍ요약표 있는데 에러가 13.9퍼 /
#즉 125개가 잘못 분류된거 900개중