모델평가 2

[R] 내부 평가를 이용한 분류 모델 성능 평가

1. 분류 모델과 내부 평가 1) 분류 모델 - 특정 기준(정답)에 의해 분석 대상을 특정 개수의 집단으로 분류하는 예측 모형 - 학습된 모델을 통해, 입력된 값을 미리 정해진 결과로 분류해주는 모델 2) 내부 평가 - 통계 분석 과정상 당연히 거쳐야 하는 과정을 제대로 이행하는지 여부에 중점을 둠 - 정확성, 안정성, 적합성, 객관성 등의 세부 평가 지표에 따라 평가 -> 세부 지표 중 평가에 활용할 지표를 통상적 기준에 의해 선택하여 활용 3) 분류 모델의 종류 구분 정의 다중 판별 분석 집단 간의 차이를 의미있게 설명해 줄 수 있는 독립변수들을 찾아내고 이들의 선형결합으로 판별식을 만들어 내어 분류하고자 하는 대상들이 속하는 집단을 찾아내는 기법 로지스틱 회귀분석 독립변수의 선형결합을 이용해 사건의..

프로그래밍 2021.06.05

[R] 예측 오차를 통한 예측 모델 성능 평가

1. 예측 오차의 개념 1) 오차와 예측 오차 * 정의 - 오차(Error): 실제값과 예측값의 차이의 정도 - 예측 오차(Prediction Error): 예측 분석 시 발생하는 예측값과 실제값의 차이 * 예측오차 발생시 통계적 문제점 (예) - 원인1: 시계열의 집계수준(월, 주 등)이 예측 데이터에 비해 지나치게 세밀하거나 간격이 클 경우(데이터가 너무 많거나 적을 오류 발생) - 원인2: 매출 데이터의 기초 수준이 월이지만 주별로 집계할 경우(Null이 너무 많음) * 오류와 해결 방법 오류 메시지 해결 방법 제안 "뷰의 날짜 필드에서 연속형 날자를 파생할 수 없습니다." - 예측하려면 날자 필드를 연속적으로 해석할 수 있어야 함 - 날자 필드가 명시적으로 연속하지 않는 경우 날짜 수준에 연도가 ..

프로그래밍 2021.06.02