디지털 인문학 공부 : 김병준 교수님 2024년 논문과 2025년 논문 비교 분석

이번 글의 논문은 최신 논문이 하나 밖에 없어서 미리 하나 쓴 다음,

나중에 교수님 논문 하나 더 추가되었기에 다시 정리해서 쓰게 되었습니다.

(정확히는 허깅페이스에 모델을 올려주셨기에 검색하다가 논문 하나 더 나온 거 알게 되었습니다.)

https://huggingface.co/AKS-DHLAB/KPoEM

AKS-DHLAB/KPoEM · Hugging Face

 

 

---

본론.

 

제가 앞선 글들에서 김병준 교수님의 텍스트 마이닝 연구들을 다루었는데,

이번에는 조금 다른 방향의 논문 두 편을 읽게 되었습니다.

하나는 근대 문헌 분석을 위한 서브워드 기반 토크나이저를 개발한 연구이고,

다른 하나는 근대시 감정 데이터셋과 생성형 AI를 결합한 연구입니다.

처음에는 서로 전혀 다른 연구처럼 보였지만,

읽다 보니 두 논문 모두

"디지털 인문학 연구를 위한 데이터셋과 분석 도구를 만드는 연구"

라는 공통점을 가지고 있었습니다.

---

1> 논문 제목과 링크

2024년 논문

김병준. (2024).

근대 국한문혼용체 자료 서브워드 기반 형태소 분석기의 설계와 적용

https://accesson.kr/kjdh/v.1/2/68/46884

근대 국한문혼용체 자료 서브워드 기반 형태소 분석기의 설계와 적용

 

---

2025년 논문

 

Lim, I., Ji, H., & Kim, B. (2025).

KPoEM: A Human-Annotated Dataset for Emotion Classification and RAG-Based Poetry Generation in Korean Modern Poetry

https://arxiv.org/abs/2509.03932

KPoEM: A Human-Annotated Dataset for Emotion Classification and RAG-Based Poetry Generation in Korean Modern Poetry

 

---

2> 논문 분석

논문 1 : 근대 국한문혼용체 자료 서브워드 기반 형태소 분석기의 설계와 적용 (2024)

핵심

• 근대 신문·잡지 데이터 수집
• 약 230만 건 규모 말뭉치 구축
• 서브워드 토크나이저 학습
• 한자어 의미 단위 보존
• vocab_size 비교 실험

즉,

 

근대 문헌 데이터 구축

↓

서브워드 토크나이저 학습

↓

국한문혼용체 자동 분석

↓

근대 텍스트 마이닝 기반 마련

 

특히 인상 깊었던 부분은

기존 형태소 분석기로는

"聯邦"

"新報"

같은 복합 한자어가

의미 없이 분절될 수 있는데,

 

서브워드 토크나이저를 활용하면

연구 목적에 맞게 의미 단위를 유지할 수 있다는 점이었습니다.

(그런데 사실 이 부분은 기존 글에도 적었듯 뭔 말인지 잘 모르겠어요.

의미 단위 유지까지는 이해했다지만,

KIWI 분석할 때 어떤 식으로 코드를 짜야 하는 건지 감이 잘 안 옵니다.) 

---

논문 2 : KPoEM (2025)

핵심

• 근대 시 작품 수집
• 인간 주석 기반 감정 태깅
• 44개 세부 감정 구축
• 감정 분류 모델 학습
• RAG 기반 시 생성

즉,

 

근대 시 데이터 수집

↓

감정 데이터셋 구축

↓

감정 분류 모델 개발

↓

생성형 AI 활용

↓

근대 문학 감성 재현

 

논문에서는

김소월, 윤동주, 한용운, 임화, 이상 등의 작품을 활용하여

총 7,662건 규모의 감정 데이터셋을 구축하였습니다.

 

그리고 이를 활용하여

한국 근대시 특유의 감정과 정서를 반영한 시 생성 가능성을 실험하였습니다.

---

3> 두 논문의 공통점

처음에는 전혀 다른 연구처럼 보였습니다.

하지만 읽다 보니 두 논문 모두

"좋은 연구를 하기 위해서는 먼저 좋은 데이터셋과 분석 도구가 필요하다"

는 점을 보여주고 있었습니다.

 

2024년 논문은

근대 텍스트를 컴퓨터가 읽을 수 있도록 만드는 연구이고,

 

2025년 논문은

근대 문학의 감정을 컴퓨터가 이해할 수 있도록 만드는 연구입니다.

 

즉,

 

텍스트를 읽게 만들고

↓

의미를 분석하게 만들고

↓

감정을 이해하게 만드는

 

연구 흐름으로도 볼 수 있었습니다.

---

4> 왜 이 논문들이 인상 깊었는가

 

2024년 논문에서

근대 자료 전용 토크나이저를 직접 구축했다는 점이 인상 깊었습니다.

 

제가 디지털 역사학에 관심을 가지면서 느낀 가장 큰 문제 중 하나도

근대 자료를 컴퓨터가 제대로 읽지 못한다는 점이었기 때문입니다.

 

실제로 근대 신문 자료를 활용하려고 하면

국한문혼용체,

옛한글,

OCR 오류 등의 문제가 계속 등장합니다.

 

그런 점에서

이 논문은

"근대 자료를 연구하기 위한 기초 인프라"

를 만드는 연구로 느껴졌습니다.

 

또한 2025년 논문은

데이터셋 구축이 단순히 텍스트 분석에만 사용되는 것이 아니라,

생성형 AI와도 연결될 수 있다는 점을 보여주었습니다.

---

5> 이 논문들이 제 연구 방향에 미친 영향

특히 2024년 논문은

제가 일제강점기 연구를 생각할 때 많은 영향을 주었습니다.

 

처음에는 신문 기사 텍스트만 분석 대상으로 생각했지만,

디지털 인문학 연구를 접하면서

좋은 연구를 위해서는 먼저

 

데이터를 구축하고,

 

정제하고,

 

분석 가능한 형태로 만드는 과정이 중요하다는 점을 알게 되었습니다.

 

또한 이러한 관심은 이후

신문 기사뿐 아니라

사진, 삽화, 만화, 포스터

등의 시각 자료로도 확장되었습니다.

 

---

이번 글을 끝으로, 논문 분석은 한동안 쉬겠습니다.

 

일단 여러 논문을 읽으며

'디지털 기술은 역사 연구를 대체하는 것이 아니라,

기존에는 접근하기 어려웠던 자료들을 새로운 방식으로 읽게 해주는 도구'라는 생각을 하게 되었고,

일단 도구 사용법부터 제대로 익히고자 합니다.

 

읽어주셔서 감사합니다.

---