📖 챕터 소개

축하합니다! 우리는 지난 시간까지 성능이 뛰어난 모델들을 만들었습니다. 그런데 만약 성능이 가장 좋은 모델이 그 판단 근거를 전혀 설명할 수 없는 '블랙박스'라면 어떨까요? 비즈니스 현장에서는 '왜?'라는 질문에 답할 수 없는 모델은 신뢰받기 어렵습니다. 이번 시간에는 성능과 해석 가능성의 균형을 맞추는 전문가적인 접근법을 배우고, interpret_model과 SHAP을 사용해 블랙박스 모델의 머릿속을 들여다보는 방법을 익힙니다.

🎯 챕터 목표

성능과 해석 가능성 사이의 트레이드오프를 이해하고, 상황에 맞는 모델을 선택할 수 있습니다.
interpret_model이 트리 기반 모델에서 SHAP을 통해 가장 잘 작동한다는 것을 이해합니다.
interpret_model() 함수를 사용하여 LightGBM과 같은 복잡한 모델의 행동을 해석할 수 있습니다.
Summary Plot과 Reason Plot을 해석하여, 블랙박스 모델로부터 비즈니스 인사이트를 도출할 수 있습니다.

💻 이번 챕터의 전체 코드 및 프로젝트 구조

이번 챕터의 핵심 코드

💡 해석이 용이한 lda 모델과 성능이 뛰어난 lightgbm 모델을 비교하고, SHAP을 지원하는 lightgbm 모델의 내부를 해석해 봅니다.

# 1. 라이브러리 준비
from pycaret.datasets import get_data
from pycaret.classification import setup, create_model, tune_model, interpret_model, predict_model

# 2. 실험 환경 설정
df = get_data('juice')
setup(data=df, target='Purchase', session_id=786, fold_shuffle=True)

# 3. (기준 모델) 해석 가능한 LDA 모델 성능 확인
print("--- 1. 기준 모델(LDA) 생성 및 최종 성능 ---")
lda = create_model('lda')
predict_model(lda)

# 4. (해석 대상) LightGBM 모델 튜닝 및 최종 성능 확인
print("\\n--- 2. 해석 대상 모델(LightGBM) 생성 및 최종 성능 ---")
lgbm = create_model('lightgbm')
tuned_lgbm = tune_model(lgbm, optimize='F1', choose_better=True)
predict_model(tuned_lgbm)

# 5. 튜닝된 LightGBM 모델 해석 (SHAP)
print("\\n--- 3. Global Interpretation (SHAP Summary Plot) ---")
interpret_model(tuned_lgbm)

print("\\n--- 4. Local Interpretation (SHAP Reason Plot) ---")
interpret_model(tuned_lgbm, plot='reason', observation=0)

코드 실행 결과 미리보기

성능 비교 요약

흥미롭게도, 이 경우에는 더 단순하고 해석 가능한 lda 모델이 복잡한 tuned_lgbm 모델보다 홀드아웃 테스트에서 더 높은 F1 점수를 기록했습니다!

모델	교차 검증 (CV) Mean F1	홀드아웃 (Test) F1	SHAP 해석 가능
`lda` (단순 모델)	0.8186	0.8310 ✨	❌
`tuned_lgbm` (복잡 모델)	0.8113	0.8228	✅