디지털 인문학 공부 : 전산언어학에서의 일제강점기 연구와 역사학에서의 일제강점기 연구는 왜 다른가

기존에 역사학 & 언어학에서의 유사 연구 계보에 대해 정리한 적이 있다.
https://uourstar.tistory.com/39

디지털 인문학 공부 : 역사학 & 언어학에서의 유사 연구 계보

 
원래는 저 글에 국외 연구 사례까지 함께 추가하여 '디지털 인문학에서 기록 체계 비교 연구는 어디까지 확장될 수 있을까'라는 주제로 하나의 글을 쓰려고 했다.
 
그런데 막상 글을 정리하다 보니, 이전 글에서도 제대로 다루지 못했던 논문 하나가 계속 마음에 남았다.

전성규「한국 근대 잡지의 계량적 연구 방법에 대한 논의: 코퍼스 구축 및 데이터 분석의 사례를 중심으로」(2023)

이 논문은 내 데이터셋에 대한 관점과 연구 방향에 꽤 큰 영향을 주었지만,
당시에는 충분히 소개하지 못했다.
 
그래서 이번에는 이 논문을 별도의 글로 먼저 정리해 보기로 했다.
 
또한 단순히 논문 한 편만 소개하기보다,
이 논문를 읽으며 내 연구 방향이 어떻게 바뀌었는지,
그리고 지난 1년 동안 어떤 사고 과정을 거쳐 왔는지도 함께 기록해 보려고 한다.
 
 

---

 

1. 내가 처음 접한 것은 전산언어학 연구였다.

사실 나는 2025년 여름까지만 해도

"일제강점기 자료를 NLP로 분석하면 되겠지."

정도로만 생각했다.
 
하지만 공부를 계속할수록,
내가 생각했던 일제강점기 연구와 전산언어학에서 말하는 일제강점기 연구는 조금 다른 이야기라는 것을 알게 되었다.
 
이 과정을 풀어 설명하자면 다음과 같다.

디지털 역사학을 포함한 디지털 인문학에 관심을 갖게 되면서,
https://uourstar.tistory.com/9

디지털 인문학 공부 : 디지털 역사학에서 디지털 인문학으로

 
나는 자연스럽게 전산언어학 연구를 먼저 찾아보게 되었다.
 
그 이유는 전산언어학이 디지털 인문학이라는 용어가 널리 사용되기 전부터
오랫동안 연구가 축적되어 온 분야였기 때문이다.
 
당시에도 나는 담론 연구에 관심이 많았고,
담론 분석과 전산언어학을 함께 다룬 연구들을 찾던 중
전봉관 교수님과 김병준 교수님의 논문을 가장 먼저 읽게 되었다.
 
(정확히 말하면 두 분의 연구는 『현대소설연구』에 실려 있었고,
참고문헌에는 전산언어학 연구들이 함께 인용되어 있었다.
당시에는 디지털 인문학의 여러 방법론이 전산언어학과 상당 부분 맞닿아 있다고 이해했고,
그래서 자연스럽게 전산언어학 쪽부터 공부하기 시작했던 거다.)
https://uourstar.tistory.com/11

디지털 인문학 공부 : 김병준 교수님과 전봉관 교수님 2017년 논문과 2023년 논문 비교 분석과 제

 
마침 당시 기준으로도 비교적 최신 논문이었기에,
참고문헌을 따라가며 공부하기에도 좋은 출발점이라고 생각했다.
 
그렇게 참고문헌을 하나씩 따라 읽으며,
Word2Vec,
Dynamic Word Embedding,
시계열 의미 변화,
담론 분석 등
국내 디지털 인문학과 전산언어학 연구들을 계속 접하게 되었다.

---

2. 그런데 자세히 보니 내가 생각한 자료와는 조금 달랐다.

처음에는 위 논문들을 읽으며 단순히

"일제강점기 신문도 NLP로 분석이 가능하네."

정도로만 생각했다.
 
그런데 참고문헌을 계속 따라가며 논문들을 읽다 보니,
내가 생각했던 연구와 실제 전산언어학에서 수행되는 연구 사이에는 생각보다 큰 차이가 있다는 것을 알게 되었다.
이 점을 가장 크게 느낀 계기가 전성규 교수님의 논문이었다.

전성규, 「한국 근대 잡지의 계량적 연구 방법에 대한 논의: 코퍼스 구축 및 데이터 분석의 사례를 중심으로」(2023)

---

3. 이 논문을 읽으며 처음으로 '데이터셋'이라는 벽을 실감했다.

논문에서 가장 먼저 눈에 들어온 것은 방법론보다도 데이터였다.
나는 그전까지는

"좋은 분석 방법만 배우면 된다."

라고 생각했는데,
 
이 논문은 오히려

분석 이전에 데이터를 만드는 일 자체가 연구다.

라는 이야기를 하고 있었다.
 
 

---

전성규 교수님은 먼저 국내 근대 잡지 연구의 현실부터 설명한다.
현재 한국사데이터베이스에는 근대 잡지가 일부만 전자화되어 있으며,
1897년부터 1945년 사이 약 350~400종 정도 존재했던 잡지 가운데
실제로 원문이 자연어처리가 가능한 형태로 구축된 것은 19종 정도(약 5%)에 불과하다고 설명한다.
 
즉,
연구자가 분석을 시작하기 이전에
애초에 분석 가능한 데이터 자체가 거의 존재하지 않는다는 것이다.

---

그래서 이 논문에서는
근대 잡지를 직접 스크래핑하여
제목 데이터베이스와 필진 데이터베이스를 구축한다.
 
잡지 제목 약 2만 7천 건,
필진 약 1만 6천 명 규모의 데이터를 직접 구축한 뒤,
 
TF-IDF,
코사인 유사도,
네트워크 분석(Gephi),
Modularity 분석 등을 이용해
잡지들 사이의 관계와 지형을 시각화한다.

---

흥미로운 점은
논문의 목적이 특정 잡지 하나를 분석하는 것이 아니라
근대 잡지 전체의 지형을 그려보려는 시도라는 점이었다.
학보 계열,
『개벽』 계열,
『삼천리』 계열,
사회주의 계열 등
잡지들이 어떤 네트워크를 이루는지까지 분석하고 있었다.

---

하지만 저자 역시 한계를 분명히 적고 있었다.
목차 데이터만으로는 기사 내용을 알 수 없기 때문에
담론 분석에는 한계가 있고,
입력되지 않은 자료도 많으며,
무엇보다 개인 연구자가 구축할 수 있는 데이터에는 현실적인 한계가 존재한다고 말한다.

---

위 논문을 읽으며 내가 받아들인 핵심은 하나였다.

분석 방법보다 먼저 데이터를 구축해야 한다.

 
(돌이켜 보면 이래서 더더욱 25년 하반기까지 데이터셋 만드는 것에 집착했던 것 같음.ㅎ)

---

4. 전산언어학에서 말하는 '일제강점기 자료'와 내가 생각한 자료는 조금 달랐다.

 
이후 논문들을 계속 읽다 보니
또 하나의 공통점을 발견했다.
전산언어학에서 사용하는 일제강점기 자료는
대부분 이미 연구 가능한 형태로 정리되어 있었다.
 
실제로 김병준·전봉관 교수님 논문도
근대 한국어 형태소 분석기가 존재하지 않는 현실 때문에
현대어 번역본을 분석에 활용했다고 명시하고 있다.
 
즉,
전산언어학 연구에서는 보통

• 현대어로 정리된 자료
• 형태소 분석이 가능한 말뭉치
• OCR 오류가 상당 부분 제거된 데이터
• 연구자가 구축하거나 정제한 코퍼스

를 기반으로 분석이 이루어진다.

---

생각해 보면
우리가 학교에서 일제강점기 시를 공부할 때도
당시 원문 그대로 배우기보다
현대어 풀이와 함께 배우는 경우가 대부분이다.
전산언어학도 비슷했다.
 
출발점이
이미 컴퓨터가 읽을 수 있는 자료인 경우가 많았다.

---

5. 그런데 내가 관심 있었던 것은 '원자료'였다.

내가 관심을 가진 것은
역사학에서 사용하는 원자료였다.
즉,

• OCR 오류가 그대로 남아 있고,
• 국한문혼용체가 섞여 있으며,
• 당시 조선어가 그대로 남아 있고,
• 일본어,
• 한자,
• 현대와 다른 띄어쓰기까지 함께 존재하는 자료들이었다.

이 경우에는
단순히 모델을 적용하는 문제가 아니었다.
애초에
컴퓨터가 읽을 수 있는 형태로 만드는 과정부터 해결해야 했다.

---

6. 토크나이저를 공부하면서 이 차이를 더 크게 느꼈다.

처음에는
좋은 토크나이저 하나만 찾으면 해결될 것이라고 생각했다.
(솔직히 이게 내 2025년 하반기까지 접근법이다.
당시 북한 담론 분석으로 연구계획서 쓸 때도
머신러닝 부분은 라이브러리 하나면 해결~이란 식으로 적었다.)
 
하지만 공부를 계속할수록
문제는 훨씬 근본적이라는 것을 알게 되었다.

---

현대 한국어는
유니코드 체계가 안정적으로 정리되어 있고,
형태소 분석기도 이미 여러 개 존재한다.
 
반면 한자는
지금도 키보드에서 글자를 직접 입력하지 않는다.
 
먼저 음을 입력한 뒤
입력기(IME)가 원하는 한자로 변환해 주는 구조다.
 
일본어 역시
히라가나를 먼저 입력하고,
그 뒤 한자로 변환한다.
 
즉,
사람은 자연스럽게 읽지만
컴퓨터는 여러 단계의 변환 과정을 거쳐야 비로소 같은 글자를 처리할 수 있다.

---

여기에 일제강점기 자료에서는
국한문혼용체,
당시 조선어,
일본어,
현대와 다른 맞춤법,
OCR 오류까지 함께 존재한다.
 
결국
토크나이저 하나만 바꾼다고 해결되는 문제가 아니라는 사실을
조금씩 이해하게 되었다.

---

7. 그래서 연구 방식에 대한 접근도 조금 달라졌다.

예전에는

어떤 NLP 모델을 사용할까?

를 먼저 고민했다.
 
지금은 오히려

• 이 자료를 어디까지 전처리해야 하는가.
• 어떤 수준까지 현대어로 바꾸어야 하는가.
• 원자료의 특성을 어디까지 보존해야 하는가.
• 분석 가능한 데이터는 어떻게 구축되는가.

를 먼저 고민하게 되었다.

---

전산언어학에서는
모델이 중심이 될 수 있다.
 
하지만 역사학에서는
자료를 어떻게 읽을 수 있는 형태로 만들 것인가 역시
연구의 중요한 일부가 될 수 있다는 점을 조금씩 이해하게 되었다.

---

8. 지금 생각하면 내가 가장 먼저 공부했던 것이 전산언어학이었던 이유도 이해된다.

예전에는 NLP를 배우면
일제강점기 연구도 자연스럽게 할 수 있을 것이라고 생각했다.
하지만 지금은 오히려 반대다.
 
일제강점기 자료를 이해할수록
토크나이저 하나,
전처리 하나,
데이터셋 하나를 만드는 과정이
얼마나 큰 연구인지 조금씩 알게 된다.
(내가 이래서 작년 12월에 그냥 현대사 먼저 접근하게 된 거다.
어찌 데이터셋 구축하고자 했는데,
연구용 자료 확보조차 쉽지 않았음.)

---

아직도 배워야 할 것은 많다.
하지만 적어도 지금은
왜 디지털 역사 연구에서
데이터 구축,
연구 인프라,
코퍼스 설계를 함께 이야기하는지,
그 이유만큼은 예전보다 조금 더 이해하게 된 것 같다.

---

참고> 전성규 교수님 논문 요약
 
전성규, 「한국 근대 잡지의 계량적 연구 방법에 대한 논의: 코퍼스 구축 및 데이터 분석의 사례를 중심으로」(2023)

1. 문제의식

• 최근 디지털 인문학 성과가 축적되고 있지만, 기존 아날로그 인문학 연구를 질적으로 갱신하지 못한다는 비판 존재.
• 근대 잡지 관련 디지털 인문학 연구는 한국사데이터베이스에 전자문서로 존재하는 일부 잡지(주로 『개벽』, 『삼천리』 등)에 국한되어 있고, 개별 잡지 단위 분석에 그침.
• 잡지 간 관계성·연결성이나 전체 지형을 보는 종합적 연구는 드물며, 초창기임에도 방법론이 빠르게 정형화되고 있다는 우려 有.
• 근본적 장벽: 원자료가 전자화(자연어처리 가능한 코퍼스 형태)된 근대 잡지 자체가 매우 적음. 1897~1945년 약 350~400여 종 잡지 중 원문 전자화 자료는 19종(약 5%)에 불과.

2. 제안하는 두 가지 데이터베이스

① 근대 잡지 목차(제목) 데이터베이스

• 한국사데이터베이스가 제공하는 83종 잡지(원문 19종+목차만 64종) 중, 총독부 기관지 등을 제외한 51종, 기사 제목 약 2만 7천여 건을 파이썬으로 스크래핑하여 코퍼스 구축.
• 연도별(1897~1939) TF-IDF 키워드 분석 → 근대 문예장 형성 시점(1913년 전후), 사상적·번역적 지층 형성기(1918~1920), 농민문학장의 대두(1920년대 중후반~1930년대 초), 1930년대 대중주의·수필 장르 부상 등을 확인.
• 잡지별 제목 코퍼스의 코사인 유사도를 계산해 2차원 시각화 → 학보 자료군, 『개벽』의 독자성, 1920년대 중후반 잡지군, 1910년대 중후반~1920년대 초반 잡지군, 1930년대 잡지군 등 5개 군집 확인.

② 근대 잡지 인명(필진) 데이터베이스

• 51종 잡지 필진 정보 약 1만 6천여 명을 수집해 Gephi로 네트워크 시각화.
• Modularity 분석으로 51종 잡지를 20개 소집단으로 분류 → 학보 자료 내 국내/일본유학생 계열 분리, 기독교 기반 민족주의 매체군(『우라키』-『동광』), 『개벽』의 독자성, 조선농민사 계열(『조선농민』-『농민』), 『삼천리』 중심의 자매지 네트워크, 사회주의 계열(『신계단』-『대중』) 등 확인.

3. 한계와 향후 과제

• 목차 데이터는 기사 내용 정보가 없다는 근본적 한계가 있어 담론 분석에는 제약이 있음.
• 일부 잡지(예: 『학지광』, 『삼천리』)는 목차 입력 자체가 완전하지 않아 데이터 누락이 상당함.
• 개인 연구자 단위 작업이라는 현실적 제약(대규모 인프라·공동연구 기반 부족) 속에서 이루어진 시도임을 밝힘.
• 향후 문헌량 확대, 필명-실명 통합 작업, 관련 잡지(자매지·동시기 발행지) 우선 추가 등을 통해 네트워크와 어휘 분석의 정밀도를 높일 필요성 제기.

4. 결론

이 연구는 근대 잡지 전체 '지형'에 대한 초기 스케치로서, 개인/소규모 연구자 단위에서도 목차 코퍼스와 인명 네트워크라는 두 축을 통해 매체 지형을 그려낼 수 있음을 보여주며, 향후 데이터 양의 확장을 통한 보다 정교한 후속 연구를 예고하고 있음.
 
추신>  김병준 교수님 논문 등 최근 논문을 보면
한자 기반 연구도 어느 정도 진행되었다는 점을 알 수 있다.
아마 곧 내가 바라는 연구도 가능하지 않을까?

https://uourstar.tistory.com/31

디지털 인문학 공부 : 김병준 교수님 2025년과 2026년 논문 2편 비교 분석

(저 포스팅에서 내가 정리한 자료는 다음과 같다.)
 
 

논문 1 : 냉전기 동아시아 강대국 담론 분석

핵심

• 중국 인민일보 약 104만 건
• 조선일보 약 165만 건
• 총 270만 건 기사 구축
• Dynamic Word Embedding
• 의미 변화 추적
• 변곡점 탐색

즉,
 
대규모 신문 데이터
↓
워드 임베딩
↓
단어 의미 변화 측정
↓
역사적 사건과 연결
↓
국가별 인식 차이 분석

---

이 논문 경우
같은 "소련"이라는 단어를 분석하더라도
중국과 한국에서 전혀 다른 의미적 맥락을 가진다는 점이 흥미로웠다.
 
중국 인민일보에서는
중소 분쟁, 사회주의 진영 내부 갈등, 탈식민주의 등과 연결되었고,
 
조선일보에서는
북한, 중공, 침략, 안보 위협 등과 연결되었다.
 
즉,
같은 단어라도 사회와 시대에 따라 의미가 달라질 수 있다는 점을
대규모 데이터 분석으로 보여준 연구인 것이다.
솔직히 당연한 말일 수도 있지만,
데이터로 분석하는 건 다른 얘기일 수도 있고
현재 내 Research Proposal에 필요한 내용이 많이 있어서 재밌게 읽었다.
 

---