nonameyet

랜덤포레스트는 Meta-Learning의 한 종류로 여러 모형을 통합하여 모델을 만드는 것을 뜻한다. 

이는 이전 디시전트리를 구현하는 과정에서 설명하였던 앙상블 기법으로 불리기도 한다. 

디시전트리(의사결정나무) 설명은 이전 포스팅으로.

베깅과 랜덤포레스트의 정의는 위와 같이 내릴 수 있다. 이해가 안가면 제일 위 사진과 함께 아래 예시를 보자.

베깅의 예시는 

총 1000개의 train 데이터 셋이 있다고 가정하자. 이럴 때, train셋을 1000개를 전부 다 한번에 쓰는 것이 아닌,

이 중 700개만 뽑아서 train셋을 여러개 만든 후, 이를 각각 학습한 결과값의 평균, 즉 값들을 모두 이용하여 

최적회된 모델을 만드는 것이다.

이 때 한번 학습에 사용한 데이터는 다시 train데이터에 놓고 랜덤으로 추출하여 각 train 데이터 셋마다 일부는 겹칠 수 있지만 완벽히는 겹치지 않는

모델을 만드는 것이다 

랜덤포레스트의 예시는

마찬가지로 train data set마다 각기 백퍼센트 동일하지 않은(=다른) 셋을 가지고 있다는 것은 동일하지만, 베깅처럼 모든 변수를 사용하는 대신

나무마다 독립변수가 다르게 들어가도록 독립변수의 수를 제한하는 기법을 뜻한다.

즉 a데이터 셋은 나이, 성별, 수입 변수를 사용하고, b데이터셋은 나이, 거주지, 수입 변수를 사용하는 식으로 백퍼센트 변수가 동일하지 않는 것이다.

이와 비슷한 이론으로 부스팅이 있는데, 부스팅은 베강과는 살짝 다른 기법이다.

부스팅을 활용한 디시전트리의 정의는 아래와 같다.

이러한 랜덤포레스트의 장단점은 

오늘은 Rattle을 사용한 기계학습을 통한 알고리즘을 구현해볼 것이다.

말은 복잡하지만 지금까지 라이브러리를 통해 구현한 SVM, neuralnet, decision tree 등 다양한 학습 알고리즘을

GUI로 작동하는 프로그램으로 구현하는 것이다.

rattle 패키지를 설치하고 실행한다.

요런 창이 뜬다. 상당히 직관적이여서 쉽게 사용할 수 있지만 간단히 몇가지 실습을 진행해 보겠다.

오늘 실습할 데이터는 KNN 구현때 사용했던 유방암 진단 데이터를 사용할 것이다 (클릭시 이동).

cancer 데이터는 이런식으로 되어있는데, 숫자의 편차가 크기때문에 정규화를 진행해 보도록 하겠다.

정규화할 칼럼을 선택한 후, 위에 실행을 눌러준다 

스크롤을 내려보면 R01_로 시작하는 정규화된 칼럼들이 추가되었을 것이다. 이제 정규화 된 칼럼들을 제외한 나머지 칼럼들을

삭제해보도록 하자. 위에 클린업을 체크하고 실행을 눌러준다. 

아래와 같은 메세지가 뜬다면 성공이다.

이제 이렇게 전처리된 데이터를 활용하여 의사결정트리를 만들어 보겠다.

방법은 아래와 같다. 

실행을 누른 후, 오른쪽 Draw를 누르면 R스튜디오 플럿 창에 아래와 같은 그림이 나온다.

.

의사결정트리에 대해 알고싶다면 이전 포스팅 으로 가보자.

이렇게 의사결정트리 구현을 마무리 하였으면, 이 결과를 평가하고 csv파일로 저장할 것이다.

전체 에러 4.7%로 비교적 준수한 결과를 보여주고 있다.

Score 선택후 실행을 눌러서 CSV파일을 저장할 수 있다.

CSV파일을 열어보면 왼쪽이 진짜 진단결과고, 오른쪽이 의사결정트리를 통한 예측 결과인 것을 알 수 있다.

이를 응용하여 SVM, neuralnet 등 다양한 알고리즘을 구현할 수 있다.

참고로 Log를 보면 구현 결과를 R언어로 다시 한번 볼 수 있으니 참고해도 좋다.

이제 본격적으로 모델을 구현해 보겠다.

위 코드처럼 입력해주면 우리는 추천 리스트를 만들게 되는데, 그 결과는 아래 화면과 같다 

직관성이 떨어지지만 읽어보면 제일 위 114 고객에는 20, 425, 771, 31, 47번 물품을 추천한다는 것이다.

바로 위에서 추천을 할때 n을 5로 주어서 다섯개만 추천해 준 것이며, 이 숫자를 바꿔주면 해당 숫자의 갯수만큼 추천해준다.

이제 모델 결과표와 그래프를 생성해 보겠다. (사실 위 과정까지만 해도 추천 과정은 끝난것이다)

위는 평가를 위한 알고리즘을 생성한 것이다. 각각 Cosine과 Pearson 두 가지를 모두 포함한 알고리즘을 만들어주면 된다.

위는 우리가 생성했던 모델에 대한 최종 평가에 사용할 evaluation 함수이다. 바로 위에서 생성한 알고리즘이 알고리즘 자리로,

초반부에 evaluationScheme 함수로 생성한 결과같이 scheme로 오게 된다.

이런식으로 실행을 해주게 되면 

이런 결과가 나온다. 

여기서 핵심적으로 봐야할 것은 precision 과 recall 이며, 해당 지표에 대한 설명은 이전 포스팅에서 진행하였다.

하지만 직관성이 떨어지기 때문에 다시 그래프를 그려보도록 한다.

참고로 plot 함수의 인자는 아래와 같다.

위의 과정을 끝냈으면, 각각 ROC 방식("pre/rec"라고 입력 안하면 defalt가 ROC) 일때 result1 과 result2의 성과를 확인해보도록 하겠다.

제일 위 코드를 실행시키면 아래와 같은 그래프가 뜬다.

UBCF 의 경우 코사인 방식이 더 성과가 좋은것을 알 수 있다. 

IBCF 의 경우 피어슨 방식이 더 성과가 좋은것을 알 수 있다. 

오늘은 R로 상품추천기술중 하나인 IBCF와 UBCF를 구현해 보겠다.

sample.csv

샘플데이터는 아래와 같이 생겼다.

데이터에 대하여 간단히 설명하면, V1과 V2, 그리고 V3는 각각 사용자식별번호, 아이템번호, 구매 횟수를 뜻한다.

즉 이미 전처리가 어느정도 완료되어 있는 데이터를 바탕으로, 우리는 사용자 베이스 추천, 아이템 베이스 추천을 진행하도록 하겠다. 

우리가 사용할 패키지는 recommenderlab 이며, 없다면 설치하도록 하자.

아래 행의 realRatingMatrix 는 진짜 횟수에 대한 것으로, 우리는 V3칼럼에서 볼 수 있는 것처럼 샀는지 안샀는지의 유무가 아닌

얼마나 구매했는지를 바탕으로 모델을 만들어야 하기 때문에 realRatingMatrix를 사용한다.

binary 일 경우네는 쉽게 이야기해 더미 변수처럼 1 0 으로 샀냐 안샀냐만 구분해주는 것이다.

이제 모델을 생성하기 위한 작업을 해보자.

코드에서 볼 수 있는 것처럼 트레이닝셋과 테스트셋을 구분하기 위하여 추출을 해주는데, 이 과정에서 구매 횟수가 5보다 낮은것은

제외하도록 한다. 그 이유는 구매가 적으면 아웃라이어처럼 결과에 왜곡을 줄 수 있기 때문이다.

위는 상품추천기술의 핵심 함수라고 할 수 있는 evaluationScheme 함수이다. 설명은 주석을 참고하면 된다.

.

위는 또다른 핵심 함수인 Recommender에 대한 설명이다. 여기서 우리는 UBCF 와 IBCF를 구분해서 각각 모델을 생성하게 된ㄷ.

파라미터로는 cosine와 pearson 두 가지가 있으며, 선택해주면 된다.

위와 같이 코딩을 해주면 되고, 아래 -trainingData는 아까 설정한 트레이닝데이터를 제외한 나머지를 테스트 데이터로 사용하겠다는 뜻이다.

상품추천기술은 개인화 기술이라고 불리며 그 핵심 기술인 협업 필터링은 아래와 같은 특징을 가진다

글로만 보면 잘 이해가 안될텐데, 아래 사진을 같이 보자.

아래는 새로운 고객인 10번 고객과 기존 고객들간의 유사도를 계산하여 선호도를 계산하는 과정이다.

표에 있는 검은색 숫자가 기존에 유자10이 가지고 있던 선호도이고, 빨갠색 글자가 기존 고객과 비교를 통해

유사한 고객들과의 연관성을 바탕으로 예상되는 추천도를 계산한 것이다.

이 때 사용되는 계산법이 피어슨스 계수(Parson correlation coefficient) 이다.

이런식으로 특정 유저 두 명간 상관관계(유사도)를 피어슨스 계수를 통해 측정하는데,

이 때 나타난 그래프의 기울기가 1에 가까울수록 유사하다고 할 수 있우며, 최저는 당연히 0이다.

이러한 협업 필터링은 다시 두 가지로 분류할 수 있다.

UBCF를 그림으로 표시해보면 아래와 같다.

이 때 중요한건 수치가 중요한게 아니고, 그래프의 모양이 비슷해야 유사도가 높다는 것이다.

즉 유저 1과 Alice는 점수의 절대치에 있어서는 유사도를 찾기 힘들지만, 그 패턴은 동일하기 때문에 (유저1을 위로 2점씩 끌어올리면 Alice와 겹친다) 유사하다고 판단할수 있다.

이론상으로 유저들간 유사도를 계산하는 공식은 위와 같은데, 엑셀을 사용하면 비교적 쉽게 할 수 있다.

위 유사도를 구한 결과에서 상위 두 개의 유저를 선택하여(이 경우에는 U1, U2) 이 둘이 평가한 것을 바탕으로 Alice가 U5를 어떻게 평가할지 

그 추정치를 구하는 공식은 위와 같다. 

즉 우리는 UBCF기법을 사용하면 Alice가 아이템 5의 평가를 4.87로 할 것이라는걸 추측할 수 있다. 

다음은 IBCF를 알아보도록 하자. 아래 그림을 참고하면 된다.

IBCF는 코사인 유사도를 바탕으로 그 유사도를 계산한다. 

마찬가지로 엑셀로 유사도를 계산하도록 한다.

위와 같은 추천시스템의 평가지표로는 아래와 같은 지표들이 있다.

오늘은 저번 포스팅에서 설명하였던 SVM 을 구현할 예정이다.

테스트 데이터셋은 아래 링크에서 받을 수 있다.

데이터셋의 변수를 확인해보자.

특징을 확인하고 학습용과 검증용 데이터로 나눈다. 

우리가 사용할 라이브러리는 "kernlab" 라는 라이브러리다.

분류 모델을 만드는 핵심 함수는 ksvm함수인데, 설명은 아래와 같다.

우리의 경우는 letters를 예측할거고, 예측에 사용하는 데이터 프레임 속성은 전부 다 사용하니깐 .로 표시한다.

data 에는 학습용 데이터를 써주고, 사용할 kernel 종류는 vaniladot 을 사용하기로 한다.

여러 kernel 타입이 있는데, 목적에 맞게 선택하여 모델을 만들면 된다.

그 후 predict 함수를 사용하여 예측을 하게 된다. 

해당 함수는 predict(사용할 모델, 예측하고싶은 데이터셋, response or probabilities) 를 사용하면 된다

여기서 response는 예측된 범주일 경우, probailities 는 확률일 경우 사용한다.

우리는 알파벳의 확률 예측이 아니고 범주를 나누는 것이니 response를 사용하기로 하는데, 디폴트 값이 response여서 따로 써줄필요는 없다.

즉 우리는 3357개를 정확히 식별했고, 643개를 잘못 식별했음을 알 수 있다.

SVM 에 대해 좀 더 자세한 설명을 원하신다면 해당 포스팅 에서 보실 수 있습니다

서포트 벡터 머신은 2차원에서 머무르는 것이 아닌, 3차원 등 차원을 높여서 데이터를 나누는 과정을 뜻한다

즉 고차원에서 데이터를 분류할 수 있는 일종의 칸막이를 만드는 것이다.

이를 좀 더 정확히 설명하면

이제 마진은 뭔지, 맥시멈 마진은 어떻게 찾는지 알아보도록 하자.

다시 한번 용어를 정리해보면

이해가 잘 가지 않으면, 그림을 보면 직관적으로 알 수 있다.

즉 서포트 벡터들의 거리인 마진의 최대치 (Maximum margin)을 찾는 것이 서포트 벡터 머신의 목표이며

이 마진의 최대치를 보여주는 초평면이 최종 초평면이 되는 것이다. 

서포트 벡터 머신의 장단점은 아래와 같다.

이번 포스팅에선 변수에 따라 콘크리트 강도를 예측하는 모델을 신경망을 통해서 만들어 보겠다.

샘플 데이터는 아래 링크에서 다운로드할 수 있다.

총 1030개의 데이터가 있으며, cement ~ age등의 정도에 따른 콘크르티의 strength 변수의 예측 모델을 만드는 것이 목표이다.

위는 데이터 전처리 과정에 대한 코드이다.

우선 csv를 불러오고, str로 살펴본 결과 데이터가 퍼져 있으며로 정규화 함수를 이용하여 정규화를 진행한다 

(KNN 구현 포스팅에 더 자세히 있다).

lapply 함수는 lapply(적용하고싶은 대상 변수, 적용할 함수) 식으로 구성하면 된다.

이렇게 정규화를 끝냈으면 이를 다시 7대 3으로 훈련용 데이터와 테스트 데이터로 분류한다

오늘 사용할 라이브러리는 neuralnet 라이브러리를 사용할 것이다.

neuralnet에서 신경망을 통한 모델 생성 역할을 담당하고 있는 라이브러리는 "neuralnet" 함수이다

(라이브러리 이름과 동일하다)

neuralnet 함수의 구성은 아래와 같다.

좀 더 자세히 설명하면,

neuralnet 함수의 제일 앞부분에는 target 변수(예측 하고싶은 변수 - 우리의 경우는 strength 이다) 

predictors 부분에는 위 타겟변수를 예측하는데 활용할 변수들을 쓴다

구분 기호는 위 예시처럼 +를 사용하면 되며, 다시 예를들어 neuralnet(A ~ B + C + D) 라고 한다면, 

A 변수를 B, C, D를 조합하여 예측한다는 것이다.

data 는 학습용 데이터 셋을 써주면 되고, hidden은 몇 개의 은닉층을 가질 것이냐에 대한 것이다.

(이 역시 이전 포스팅에 더 자세히 나와있다)

망 시각화를 해보고싶다면 plot 함수를 사용할 수 있지만, 어차피 봐도 모른다.

compute는 모델을 평가하는데 쓰이는 함수로, compte(평가에 사용할 모델,이 모델을 활용하여 분석할 변수들(cement ~ age))로 사용가능하다.

이렇게 결과를 model_results 변수에 담고, 이를 마지막으로 평가하기 위해서 net.result를 활용하여 예측된 강도값을 담는다

참고로 net.result 값 (예측된 strength 값들은 다음과 같다) 

이걸 수동으로 진짜 값과 맞는지 대조해볼수는 없는 노릇이다.

따라서 아래와 같이 예측값에 대한 평균적인 상관계수를 구할수 있다. 

즉 오늘 우리가 만든 모델은 0.8 (80퍼)의 상관계수를 가진다.

신경망 이론의 좀 더 자세한 설명 및 파이선 구현 코드는 이곳을 클릭하세요

암상자 기법은 오른쪽 그림처럼 다양하게 섞여 있는 데이터들 사이에서 분류선을 잘 만들어 주는 기법이다.

하지만 '암상자'에서 알 수 있는 것처럼, 해당 알고리즘엔 큰 단점이 있는데 그 과정을 설명하기 애매하다는 것이다.

이 예시로는 추후에 포스팅할 SVM과 신경망 등이 포함되며, 해당 기법들은 예측 정확도는 높지만

그 결과 도출을 위한 과정을 설명하기 애매해다는 단점이 있다.

우선, 암상자 기법중 하나인 신경망 이론에 대하여 알아보자.

신경망은 크게 입력 - 은닉 - 출력층으로 나누어진다. 

이 때 입력층에서 출력층으로 가며 데이터마다 가중치를 부여해, 출력층에서 최적의 예측값을 낸다는게 목표인데,

해당 과정은 다음과 같다.

은닉층에서 연산을 거쳐서 출력값을 나오게 하는 것임. 즉 선마다 가중치가 있어서 이에 따라 분석 – 

즉 신경망은 가중치를 결정하는 것 

Feed-forward  / Back-propagation Neural net  - 출력된 값을 보고 정답하고 다르면 역전파(가중치를 뒤로 조정하면서) 최적화된 가중치를 만들어 낸다 

이 때 은닉층은 자유롭게 결정할 수 있는데, 우리가 진행하고 있는 비즈니스 애널리틱스에서는 보통 3계층의 형태를 많이 사용한다. 

그 이유는 해당 은닉층으로도 충분히 분석이 가능하기 때문이다.

위 사진은 해당 노드가 어떻게 가중치를 적용하여 인풋을 받고, 이를 다시 다음 노드로 보내주는지 설명하고 있다.

이를 활성화 함수 라고 하는데, 이 활성화 함수는 

로 설명할 수 있다.

즉 결합함수 부분은 가중치를 적용하여 들어온 input value들을 하나로 합치고,

전이함수는 이렇게 합친 value를 다음 노드로 전송하는 역할을 담당한다.

시그모이드 함수는 input value를 0~1사이로 보정한다

이 때 전이함수는 해당 값을 보정하여 전송하기도 하는데, 이러한 함수들에는 시그모이드, 가우시안 함수 등이 있다. 

위에서 볼 수 있는 것처럼, 가중치를 적용하여 그 값을 계산하고, 이렇게 합친 값을 시그모이드 함수로 

보정하여 다음 노드로 전송하는 것을 알 수 있다.

.

이러한 신경망 기법의 장단점은 아래와 같다.

유클리드 거리 계산은 데이터간 유사도를 판단하는 기준으로 활용되며,

추후에 포스팅할 추천시스템에서도 활용된다.

간단히 설명하면 위와 같은 데이터 그룹안에 아래 화면처럼 새로운 신규 데이터가 들어오게 된다.

위 예시는 기존에 있던 데이터를 sweet와 crunchy 두 기준으로 fruit, vegetable, protein 그룹으로 구분한 것이다.

여기서 신규 진입한 데이터인 토마토가 어떤 그룹에 속할지 계산을 해야하는데, 이 때 우리는

유클리드 함수를 사용할 수 있다.

즉 x좌표는 x좌표끼리, y좌표는 y좌표끼리 뺸 후 제곱한것을 더하여, 이 값에 루트를 씌워주면 되는 것이다.

예를 들어, 토마토의 sweetness가 6이고, crunchiness 가 4이고, 이 때 green bean의 sweetness 가 3, crunchiness 가 7이라면

위와 같이 당도는 당도끼리, crunchiness 는 cruchiness 끼리 빼주면 되는 것이다.

이렇게 나온 값이 유클리드 거리이며, 이 거리가 작을수록 해당 데이터끼리 유사성을 가진다고 할 수 있다.

이렇게 다 계산을 해준후, 거리 순으로 정렬을 해보면 orange, grape, nuts, green bean 순으로 

Tomato와 유사도가 큰 것을 알 수 있다.

저번 시간에 이어서 KNN 구현을 마무리해자.

지금부터는 본격적으로 관련 라이브러리를 활용하여 완성을 할 것이다.

class 라이브러리의 knn 함수를 사용하여 KNN 알고리즘을 시행하게 된다. 

여기서 train은 위에서 나눈 학습 데이터, train은 검증 데이터, cl은 우리가 Target 변수로 하고 있는

Diagnosis 칼럼을 뜻하는데, 여기서 train_labels는 train data의 diagnosis 칼럼만 따로 추출해 놓은 것을 뜻한다. 

여기서 K는 전 포스팅 인트로에 설명하였던, 몇 개의 데이터를 계산에 포함시킬거냐에 관한 것이다.

보통 총 데이터셋의 제곱근의 값으로 계산하며, 여기서는 21로 지정하여 진행하도록 하겠다.

이렇게 생성한 예측값의 정확도를 확인해보기 위해서, gmodels 라이브러리의 크로스테이블을 사용한다. 

아래에서 확인할 수 있는 것처럼 약 98퍼센트의 예측 정확도를 보여주고 있다. 

이상으로 KNN알고리즘 구현을 마무리 할 수 있지만, 전 포스팅에서 진행하였던 최대최소 정규화 외에, 

다른 정규화 방법중 하나인 Z점수 표준화 공식을 간단히 설명하고 마무리하도록 하겠다.

공식은 X-평균 / 표준편차 이며, R에서는 아래와 같이 구현한다.

R에서는 scale함수로 이를 간단하게 시행할 수 있으며, 아래처럼 summary 함수를 통해 성공적으로 변환이 되었는지

확인할 수 있다.

다른 과정은 동일하며 wbcd_n 자리에 wbcd_z를 넣어서 동일하게 진행하면 된다.

KNN알고리즘은 게으른 학습의 한 종류다. 

게으른 학습의 특징은 다음과 같은데, 

• 모형을 미리 만들지 않는다. 

• 새로운 데이터가 들어오면 그때부터 계산하기 시작함

KNN은 새로운 데이터가 들어오면 K-nearest neighbor K개의 가까운 이웃들을 참고한다.

K가 2면 두 개를 찾고 3은 세 개를 찾는데 데이터에서 가까운 순서대로 찾게된다.

만약 가까운걸 찾앗는데 검은 것이 3개면 똑같이 검은색으로 분류

만약 가까운 것 세개중 두 개가 검은거면 다수결에 따라 검은색으로 분류

(실제로는 자신을 제외한 모든 데이터들과의 거리를 구하고 가까운 순서대로 정렬해서 K개를 바탕으로 한 다수결로 결과를 도출함)

이 거리를 어떻게 구하냐? 유클리드 거리 (다차원 공간에서 거리를 구하기 위한 방법)를 사용한다.

이 때 K가 커지면 커질수록 안정적으로 분류하는 모형을 만들수 있고(직선 형태)

K가 작으면 작을수록 세부적으로 분류할 수 있는 모형(곡선)을 만들 수 있다.

보통 K 선정은 훈련 데이터 개수에 제곱근을 씌운다움 1`부터 k까지 테스트해보고 제일 맞는거를 k로 선정해서 진행하게 된다.

이제 실습으로 들어가보자.

오늘은 UCI에서 제공하는 유방암 진단 관련 데이터를 사용할 것이다. 다운로드 링크는 아래와 같다.

 https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic) 

타겟변수는 Diagnosis(진단)이며 M은 malignant(양성), B(benign(음성)) 을 뜻한다.

데이터셋에 대한 간단한 전처리를 진행한다.

R에서 함수를 생성하는 방법은 위와 같으며, 정규화 함수를 생성한 후 

이를 wbcd 데이터에 적용시켜주고, 이를 wbcd_n변수에 담는다. 

위와 같이 훈련데이터와 검증데이터를 분류하고 전처리를 끝낸다. 

부스팅은 앙상블 기법중 하나이다. 앙상블 기법은 모형 하나를 만드는 것이 아닌

여러 개의 모형을 만들어서 평균을 내서 예측을 하는 것이다.

예를 들어서 700명의 데이터 중에서 500명만 뽑아서 예측 작업을 한다면, 

복원추출을 사용하여 모델을 여러번 만들게 되면 각 셋마다 완벽히 중복되지 않는

여러 셋을 만들수 있는 것이다.

즉 앙상블 기법은 단독 모델로 예측하는 것이 아닌 여러 모델을 생성하여 예측을 하고

평균을 통해 이 결과를 예측하는 기법이다.

저번 포스팅에서 진행했던 실습을 이어서 해보자.

소스코드는 기존과 동일하지만, 달라진 점이 있다면 trials (시도)를 10으로

즉 10번 시도한 평균치를 바탕으로 모델을 생성한다.

summary(credit_boost10) 을 통해 확인해보면 

900번의 시도중 에러가 31개로 부스팅 시도 전보다 줄어든 것을 확인할 수 있다.

의사결정트리는 데이터를 분류하는 모델중 하나인데, 특정 기준에 따라 데이터들이 분류되는 과정을 반복한다.

최종적인 목표는 각 노드들의 엔트로피 지수를 0으로, 즉 한 노드(공간)에 같은 특성을 가진 데이터들만 모이게 하는 것이다.

아래 그림을 보자.

해당 트리는 Income와 Lot size를 기준으로 데이터들을 동질한 집단으로 모으는 과정을 거쳤다. 

즉 선과 선으로 둘러쌓인 공간은 한 개의 노드와 마찬가지이며, 각 선들은 처음 그림에서의 분류 기준과 같은 것이다.

트리의 분류가 끝나게 되면 바로 위 그림처럼 특정 공간에는 같은(동질의)데이터만 오거나, 

오차율을 무시할 수 있을만큼 동질적인 수준의 데이터가 모이게 된다.

이제 코드와 함께 보자

credit.csv

저번 csv파일 입출력 포스팅에 썼던 은행 고객 데이터를 다시 사용한다.

우리가 예측해야하는 값은 17번째 열인 default 인데, 이 deault행은 해당 고객이 

"대출을 기간 내에 상환할 것인지"에 대해 Yes(상환) No(상환실패) 로 분류한 것이다. 

즉 1행부터 16행까지 다양한 변수들에 따라서 상환 여부를 예측하는 모델을 만들어야 한다.

우선 csv를 읽어온 후, 간단히 몇가지 변수들에 대해 요약통계를 출력해본다.

그리고 마지막 table(칼럼) 명령어를 확인하여, 해당 칼럼내 변수들의 비율을 확인한다

즉 우리가 오늘 사용할 데이터는 상환 여부가 Yes 인 것이 700개, No 인 것이 300개가 있다는 것이다. 

해당 명령어를 사용하고 요약통계를 확인하면 순서는 변했지만, 내용 자체는 변하지 않았음을

Head() 명령어와 summary() 명령어로 확인할 수 있다. 

데이터를 학습용으로 900개, 검증용으로 100개로 나눈다.

이제 준비는 끝났고, 모델을 생성해보도록 하자.

R은 자바나 C와는 다르게 기존에 입력되어 있는 데이터 파일을 불러와서 분석하는 작업을 주로 수행한다. 

이 과정을 위해서는 csv 파일을 R에서 읽어올 수 있어야 (입력) 하며, R에서 처리한 파일을 저장(출력)할 수 있어야 하는데

이번 포스트에서는 해당 프로세스를 알아보도록 하겠다.

usedcars.csv

해당 파일을 워킹디렉토리에 넣고 아래 명령어를 실행한다. 

워킹 디렉토리는 setwd(원하는 디렉토리) 와 getwd()명령어로 세팅 및 확인이 가능하다.

우선 데이터 파일을 (csv파일) 읽어오려면, read.csv 명령어를 사용한다. 

불러온 csv를 "usedcars"라는 변수에 저장하겠다는 것이다.

str(usedcars)는 usedcars의 대략적인 데이터 구조를 살펴볼 수 있는 명령어이며 결과는 아래와 같다. 

왼쪽 달러사인($)과 함께 데이터 프레임에 소속된 변수명이 표시되고, 해당 변수에 속한 데이터들이 일정 부분 표시된다.

다음은 가장 강력한 기초통계 함수라고 할 수 있는 summary()함수이다. 

summary 함수는 요청한 칼럼의 주요 값들을 표시해 주는데, 그 정보는 아래와 같다.

• 최소값

• 최대값

• 1st quantile (25%에 해당하는 값)

• 3rd quantile (75%에 해당하는 값)

• 평균 

• 중위값

R은 데이터 분석을 위한 언어로서 오픈소스 타입으로 다양한 패키지를 이용하여 여러 솔루션을 도출해낼수 있다. 

그 전 R에서 사용되는 데이터타입에 대한 간단한 정리를 통해 앞으로 진행할 분석에 활용할 예정이다.

R의 데이터 타입은 다음과 같이 정리할 수 있다

• 백터: R의 최소단위의 데이터 타입으로서, 문자형 실수형 논리형 명목형의 네 가지 타입으로 나눠진다

• 팩터: 명목형 범주형을 위한 일차원의 벡터 타입 

• 리스트: 다양한 데이터 타입이 조합된 일차원의 데이터 타입 

• Data Frame: 다양한 데이터 타입들이 조합된 이차원의 배열  

• 매트릭스: (주로)수치형 데이터를 위한 이차원 배열