NIST 필기체 데이터셋에 의사결정 트리 분류기를 적용해본 실험 후기

핵심 요약

NIST 필기체 데이터셋을 32x32 해상도로 낮춰 ID3 방식의 의사결정 트리로 학습시킨 결과, 88%의 정확도와 605개의 유효 피처를 확인했다.

배경

신경망 학습에 주로 사용되는 NIST 필기체 데이터셋을 의사결정 트리(Decision Tree)와 같은 전통적인 분류기로 처리할 수 있는지 확인하기 위해 실험을 진행했다. 원본 128x128 이미지를 32x32로 축소하여 Go 언어로 구현한 분류기에 학습시킨 결과다.

의미 / 영향

이 실험은 복잡한 이미지 인식 작업에서도 적절한 차원 축소가 동반된다면 전통적인 의사결정 트리 모델이 유효한 베이스라인이 될 수 있음을 시사한다. 딥러닝 일변도의 접근 방식에서 벗어나 문제의 특성에 맞는 경량 알고리즘의 가능성을 재확인한 사례다.

커뮤니티 반응

작성자의 흥미로운 실험에 대해 긍정적인 반응이며 전통적인 방식의 가능성을 확인했다는 평가다.

주요 논점

01중립다수

신경망을 완전히 대체할 수는 없지만 특정 작업에서는 전통적 분류기도 충분히 강력하다.

합의점 vs 논쟁점

합의점

이미지 다운샘플링이 연산량 조절에 필수적이었다.
88% 정확도는 신경망 대비 낮지만 분류기로서는 의미 있는 수치다.

논쟁점

학습에 2일이 소요된 점은 효율성 측면에서 개선의 여지가 있다.

실용적 조언

고해상도 이미지 데이터를 전통적 머신러닝으로 다룰 때는 32x32 이하로 다운샘플링하여 피처 수를 조절하라.

전문가 의견

신경망 이전의 고전적 방식이 피처 선택(Feature Selection) 측면에서 어떤 효율성을 갖는지 보여주는 사례다.

언급된 도구

Go추천

분류기 알고리즘 구현 및 학습 실행

섹션별 상세

원본 NIST 데이터셋은 128x128 픽셀의 흑백 이미지로 구성되어 이미지당 16,384개의 피처를 가지며 전체 데이터는 100만 개가 넘는다. 작성자는 연산 효율을 위해 이미지를 32x32 그레이스케일로 다운샘플링하여 피처 수를 1,024개로 대폭 줄였다. 이러한 전처리는 전통적인 분류 알고리즘이 감당할 수 있는 수준으로 복잡도를 낮추는 핵심적인 단계였다.

Go 언어로 구현된 의사결정 트리 모델을 구축하는 데 약 2일의 시간이 소요되었으며 테스트에는 몇 시간이 걸렸다. 최종 모델은 88%의 정확도를 기록했는데 이는 딥러닝 모델의 90% 후반대 성능에는 못 미치지만 전통적인 분류기로서는 상당히 고무적인 수치다. 특히 전체 1,024개의 픽셀 피처 중 605개만을 사용하여 분류를 수행했다는 점이 주목할 만하다.

작성자는 의사결정 트리가 분류에 실제 사용한 픽셀들의 위치를 텍스트 기반 맵으로 시각화하여 공유했다. 공개된 맵을 보면 이미지의 중앙 부분과 특정 경계 영역의 픽셀들이 집중적으로 선택되었음을 알 수 있다. 이는 모델이 글자의 형태를 구분하기 위해 이미지의 핵심적인 기하학적 특징을 스스로 학습했음을 시사한다.

실무 Takeaway

NIST 필기체 인식 작업에서 의사결정 트리(ID3 방식)로 88%의 정확도를 달성할 수 있다.
1,024개의 픽셀 중 약 60%인 605개의 피처만으로도 유의미한 분류 성능을 낼 수 있다.
전통적인 머신러닝 알고리즘도 적절한 전처리를 거치면 신경망의 전유물로 여겨지는 작업에서 준수한 성능을 보여준다.