02. 분석 및 구현 기록 02 모델·전처리 이해 과정 및 기술 학습 기록

 

1. 모델·전처리 이해 과정 기록

일제강점기 신문 텍스트를 분석하는 과정에서 LDA 토픽 모델링 기반 분석 파이프라인을 구축하였다.

https://uourstar.tistory.com/66

디지털 인문학 공부 : 근대 한국어 토크나이저 적용 및 전처리 학습 기록 (26.01-02 기록)

 

초기에는 CountVectorizer를 이용해 문서-단어 행렬(DTM)을 구성하고,

이를 Latent Dirichlet Allocation(LDA) 모델에 입력하는 scikit-learn 기반 구조를 사용하였다.

https://uourstar.tistory.com/70

디지털 인문학 공부 : 분석 도구 및 파이프라인 구성

 

그러나 현대 한국어 기반 형태소 분석기를 그대로 적용한 경우, 한자 혼용 텍스트와 근대 한국어 문체가 충분히 정규화되지 않아 토큰화 단계에서 불안정성이 발생하였다. 이후 ModernKoreanSubword 기반 토크나이저(Kiwi + SwTokenizer 구조)를 적용하면서 토큰화 품질이 개선되었으며, 한자 기반 개념어가 구조적으로 분리되는 현상을 확인할 수 있었다.

https://uourstar.tistory.com/81

01. 연구 (1) 일제강점기 담론 연구 03 코드와 방법론 비교

 

이 과정에서 가장 중요한 변화는 모델 자체보다 전처리 구조의 영향력이 더 크다는 점이었다.

특히 불용어 처리 기준과 사용자 사전 구성 방식에 따라 LDA 결과가 크게 달라졌으며, 일부 단어는 통계적으로는 의미가 약하지만 역사적 담론 구조에서는 핵심 개념으로 작동할 수 있다는 점이 확인되었다.

 

결과적으로 모델 성능 개선보다 중요한 요소는 데이터 입력 구조이며, 토크나이저 설계, 사용자 사전, 불용어 기준 설정이 분석 결과의 방향성을 결정하는 핵심 변수임을 확인하였다.

https://uourstar.tistory.com/37

디지털 인문학 공부 : 방법론 학습 및 연구 흐름 정리 (1년간의 시도와 확장)

 

 

---

2. 기술 학습 기록 (정보처리기사 및 모델 이해 과정)

본 연구 수행 과정에서는 분석 구현을 위한 기초 기술 역량을 함께 학습하였다.

특히 정보처리기사 필기시험을 통해 소프트웨어 설계, 데이터베이스, 프로그래밍 언어,

시스템 구축 전반의 기초 구조를 정리하였으며, 해당 시험에서 평균 92점(총점 460점)으로 합격하였다.

• 소프트웨어설계: 95
• 소프트웨어개발: 95
• 데이터베이스구축: 95
• 프로그래밍언어활용: 90
• 정보시스템구축관리: 85

이 과정은 단순 자격 취득이 아니라 분석 파이프라인 설계에 필요한 기본 구조(데이터 흐름, 시스템 구성, 처리 단계)를 이해하는 데 활용되었다.

 

또한 모델 및 전처리 이해 과정에서는 LDA, DTM, TF-IDF 등의 텍스트 마이닝 기법을 학습하며

각 기법의 구조적 차이를 비교하였다. 특히 반복 실험을 통해 확인된 핵심은 “모델 성능보다 전처리 구조가 결과를 결정한다”는 점이었다.

이 과정에서 토큰화 방식, 사용자 사전 설계, 불용어 정의 방식이 분석 결과를 직접적으로 변화시키는 요소임을 확인하였으며,

이는 이후 연구에서 데이터 구조 설계의 중요성을 재정립하는 계기가 되었다.

https://uourstar.tistory.com/64

디지털 인문학 공부 : NLP 전처리 및 파이프라인 실험

 

https://uourstar.tistory.com/65

디지털 인문학 공부 : NLP 전처리 후속 글 "결과가 나왔다고 해서 모두 연구 결과가 되는 것은 아

 

---

3. 핵심 정리

본 연구 및 구현 과정에서 확인된 핵심은 다음과 같다.

첫째, 데이터 분석 결과는 모델 이전 단계에서 이미 상당 부분 결정된다.
둘째, LDA, TF-IDF, 임베딩 기반 모델 자체보다 중요한 것은 입력 데이터 구조이다.
셋째, 토크나이저, 사용자 사전, 불용어 기준과 같은 전처리 요소가 분석 결과의 신뢰성을 좌우한다.

따라서 디지털 역사학에서 중요한 연구 기여는 모델 고도화가 아니라,

분석 가능한 데이터 구조를 설계하고 이를 안정적으로 구축하는 인프라 설계 능력에 있다고 판단하였다.