디지털 역사학 : 내가 다루려는 분석 방법은 LDA와 무엇이 다른가

 

 

 

최근 들어 RP를 다시 읽고,

예전에 써둔 블로그 글도 다시 읽고 있다.

 

그러다 문득 든 생각은 다음과 같다.

 

"생각보다 내가 처음부터 같은 질문만 붙들고 있었네?" ㅎ

 

예전에는

SCV(Structural Covariance, 구조적 공변동) = LDA + Lag

정도로 생각했다.

https://uourstar.tistory.com/22

디지털 역사학 : SCV(Structural Covariance) 개념 구상

 

 솔직히 지금도 완전히 틀린 말은 아니다.

 

LDA도 들어가고,

Lag(혹은 window)도 들어가고,

가능하다면 STM도 들어가고,

더 가능하다면 DWE도 넣고 싶다.

 

(맛집은 하나로 승부한다던데........

이거 완전 클로드 등 AI 스타일인가? 뭣도 모르고 다 집어넣는 거?)

 

그런데 최근 RP를 다시 보면서 느낀 건,

SCV의 핵심은 사실 개별 기법이 아니었다.

---

사람들이 흔히 하는 연구를 단순화하면 대략 이런 식이다.

---

A형

LDA

↓

토픽 추출

↓

"교육 토픽 증가"

↓

끝

---

B형

워드 임베딩

↓

민족 의미 변화

↓

역사적 해석

↓

끝

---

C형

이벤트 스터디

↓

사건 전후 비교

↓

끝

---

물론 이런 연구들이 나쁘다는 뜻은 아니다.

오히려 디지털 역사학에서 굉장히 중요한 연구들이다.

실제로 나도 김병준 교수님 논문들을 보면서 많이 배웠고.

 

그런데 내가 원전 RP를 구상하면서 궁금했던 건 조금 달랐다.

 

나는 처음부터

"토픽이 무엇인가?"

보다

"왜 & 어떻게 변했는가?"

에 더 관심이 있었다.

 

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."
를 보고 싶었다.

 

 

 

생각해 보면

김병준 교수님 tokenizer를 처음 돌렸을 때도 비슷했다.

 

당시 내가 가장 아쉬워했던 게

날짜 데이터였다.

 

LDA 결과는 나왔다.

토픽도 나왔다.

한자도 잘(???) 나왔다.

 

그런데 나는 계속

"날짜가 있었으면 좋겠다."

"시차 분석 하고 싶은데."

라는 얘기를 하고 있었다.

 

 

지금 생각하면 이상하다.

대부분은 토픽 결과 자체를 보는데,

나는 처음부터 시간에 집착하고 있었던 셈이다.

 

그래서 지금 다시 정리해 보면

내 원전 RP의 구조는 사실 이거다.

 

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

 

즉

LDA가 목적이 아니다.

 

Lag도 목적이 아니다.

 

심지어 STM도 목적이 아니다.

 

전부 측정을 위한 도구일 뿐이다.

 

내가 보고 싶은 것은

정책과 담론이 어떻게 함께 움직이는가이다.

 

그래서 지금 와서 생각해 보면

원전 SCV는 의외로 김병준 교수님 연구와도 조금 다르다.

 

김병준 교수님 논문을 보면서 가져온 것은

LDA 자체가 아니었다.

 

2017년 논문을 보면서는

"변화를 측정할 수 있다."

를 배웠고,

 

2023년 논문을 보면서는

"의미 변화도 측정할 수 있다."

를 배웠고,

 

근대 한국어 tokenizer를 보면서는

"과거 텍스트도 데이터화할 수 있다."

를 배웠다.

 

즉,

내가 가져온 것은 개별 기법보다

측정 가능성에 대한 아이디어였다.

 

오히려 연구 질문 자체는

우동현 교수님 논문들과 더 닮았다.

 

우 교수님 연구를 보면

과학기술 정책

↓

사회 변화

↓

역사적 해석

이라는 흐름이 보인다.

 

반면 나는

원자력 정책

↓

담론 변화

↓

역사적 해석

을 보려 한다.

 

 

그래서 내 RP 소재 겸 당장 구현할 수 있는 현대사 소재로 우 교수님 연구와 비슷한 걸 선택했다.

 

하지만 내가 가장 가깝다고 느끼는 연구자는 여전히 전봉관 교수님이다.

 

왜냐하면 전 교수님 연구는

단순히 NLP를 사용하는 연구가 아니라

신문,

문학,

만화,

아카이브,

문화사 자료를

실제 인문학 질문과 연결하는 연구를 하시기 때문이다.

 

즉,

김병준 교수님에게서 방법론을 배우고,

우동현 교수님에게서 역사적 질문을 배우고,

전봉관 교수님에게서 그것을 실제 인문학 연구로 연결하는 방식을 배우는 것 같다.

 

---

물론, 관점에 따라 세 분에게는 공통점이 있다.

 

결국 중요한 건 질문일 테고,

이 때문에 나는 내가 만들려 하는 SCV에 대해서도 단순한 분석 기법으로 보지 않는다.

---

 

오히려

정책사

미디어사

계산사회과학

디지털 역사학

을 묶는 하나의 프레임워크에 가깝다고 생각한다.

(성공한다면야....)

 

아무튼 재밌는 건

함께 구상한 일제강점기 SCV 버전은 조금 다르다는 점이다.

 

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

 

어쩌면 내가 그동안 붙잡고 있었던 질문은 처음부터 하나였는지도 모르겠다.

 

 

LDA도,

STM도,

-된다면,- DWE도,

Lag도,

전부 그 질문에 답하기 위해 가져온 도구들일 뿐이다.

아직 SCV가 정말 의미 있는 방법론인지는 모르겠다.

 

다만 적어도 지금은,

내가 왜 이걸 만들고 싶었는지는 조금 설명할 수 있을 것 같다. 

 

---

추신.

사실 디지털 인문학 공부하면서 가장 많이 들은 말 중 하나가

"도구는 도구일 뿐이다."

라는 말이다.

처음에는 그냥 좋은 말인 줄 알았다.

그런데 직접 데이터를 만져 보니 무슨 뜻인지 조금 알 것 같다.

 

LDA를 돌리면 토픽이 나온다.

STM을 돌리면 시간에 따른 토픽 변화가 나온다.

DWE를 돌리면 단어 의미 변화가 나온다.

Lag을 돌리면 시차가 나온다.

Network를 돌리면 연결망이 나온다.

 

그런데

토픽이 나왔다고 해서 연구가 되는 것은 아니다.

의미 변화가 측정되었다고 해서 역사가 설명되는 것도 아니다.

시차가 계산되었다고 해서 인과관계가 증명되는 것도 아니다.

 

결국 중요한 건

"왜 이 데이터를 보고 있는가"

인 것 같다.

 

예를 들어 LDA.

처음에는 되게 신기했다.

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

 

이런 단어들도 자동으로 묶인다.

 

그런데 LDA는

1920년 기사인지

1940년 기사인지

모른다.

 

그냥 "같이 등장하는 단어" 만 본다.

 

그래서 LDA는

생각보다 역사학적인 도구라기보다

통계 도구에 가깝다.

 

STM은 조금 다르다.

STM은 "언제"라는 정보를 넣을 수 있다.

 

 

예를 들어 1920년 기사와 1940년 기사를 구분해서

토픽이 어떻게 변하는지 볼 수 있다.

 

 

그래서 디지털 역사학 논문을 보면

LDA보다 STM이 많이 등장하는 이유도 이해가 된다.

역사학은 결국 시간의 학문이니까.

 

DWE는 더 재밌다.

 

김병준 교수님과 전봉관 교수님 논문을 읽으며 

 

"같은 단어라도

시기에 따라 의미가 달라질 수 있다는 걸 데이터로 보였다."라는 점이 놀라웠다.

 

"민족"

"국민"

"국가"

 

이런 단어들이

오랜 시간 같은 의미가 아니었다는 걸 데이터로 증명할 줄이야.

 

 

DWE는

그 의미 변화를 벡터 공간에서 측정한다고 한다.

 

솔직히 아직 완벽히 이해한 건 아니다.

ㅎㅎㅎ

 

STM도 어렵다지만, 내가 오늘 다룬 것들 중 DWE가 가장 어렵게 느껴진다.

LDA는 라이브러리를 불러오면 되는데

DWE는

학습

↓

정렬(Alignment)

↓

비교

과정을 거쳐야 한다.

 

그래서 비슷한 논문을 볼 때마다

"이걸 대체 어떻게 구현했지?"라는 생각을 하게 된다.

 

솔직히 Lag은 또 다른 이야기 겸 그나마 쉬운 얘기다.

 

어쨌거나 코드보다 중요한 것은 질문이고,

도구보다 중요한 것은 문제의식이다.