02. 분석 및 구현 기록 01 데이터셋 구축 한계 및 플랫폼 분석 기반 인프라 보고서, 분석 도구 및 파이프라인 구성

1.  데이터셋 구축 한계 및 플랫폼 분석 기반 인프라 보고서

일제강점기 담론 연구를 수행하기 이전 단계에서 데이터셋 구축을 위한 예비 작업을 진행하였다.

2025년부터 2026년 6월까지 플랫폼 및 공공 데이터 조사를 수행하면서

분석 가능한 형태의 데이터 일부를 확보하였다.

 

특히 일제강점기 신문 아카이브 데이터를 중심으로,
데이터 수집–정제–토큰화–분석–시각화에 이르는 전체 파이프라인을 하나의 연구 인프라 관점에서 정리하였다.

 

초기 단계에서는 각 분석 과정을 개별적으로 기록하였으나,
이후 연구 구조가 복잡해짐에 따라 이를 단순한 작업 로그가 아닌 재현 가능한 데이터 인프라 구조로 재정리할 필요가 있었다.

 

이에 따라 기존 블로그 기록을 통합하고,
데이터 처리 과정에서 발생한 구조적 문제와 해결 과정을 중심으로 별도의 보고서 형태로 재구성하였다.

 

본 단계의 핵심은 데이터 처리 결과 자체가 아니라,
실제 분석 이전 단계에서 발생하는 다양한 구조적 병목을 드러내는 데 있다.

 

참고> [디지털 역사학 데이터 인프라 비평 보고서]
https://uourstar.tistory.com/67

디지털 인문학 공부 : 디지털 역사학 데이터 인프라 비평 보고서

 

---

2. 분석 도구 및 파이프라인 구성

본 절에서는 실제 분석을 수행하기 위해 구축한 Python 기반 분석 환경과 파이프라인 구조를 정리한다.

일제강점기 담론 연구에서 사용된 주요 도구는 다음과 같다.

• pandas (데이터 구조화 및 처리)
• numpy (수치 연산)
• scikit-learn (CountVectorizer, LDA 등)
• kiwipiepy (형태소 및 서브워드 토크나이저)
• matplotlib / seaborn (시각화)
• 참고> [디지털 인문학 공부 : 분석 도구 및 파이프라인 구성]
• https://uourstar.tistory.com/70

디지털 인문학 공부 : 분석 도구 및 파이프라인 구성

 

---

3. 핵심 정리

 

본 연구 과정에서 확인된 핵심은 다음과 같다.

데이터 분석의 문제는 알고리즘 이전 단계에서 이미 결정된다.

즉 TF-IDF, LDA, 임베딩 기반 분석과 같은 기법 자체의 문제가 아니라,

그 이전 단계인 데이터 구축·정제·토큰화·후처리 구조가 결과의 신뢰성을 좌우한다.

따라서 디지털 역사학에서 중요한 연구 기여는

분석 모델의 고도화가 아니라,

분석 가능한 데이터셋을 구축하는 인프라 설계 능력 및 적절한 수치를 사용하는 데에 있다고 생각한다.