디지털 역사학 : tokenizer를 잘 쓰려면 뭘 더 공부해야 할까

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

지난 글에서 김병준 교수님 오픈소스 tokenizer를 이용해 조선일보 데이터를 돌려보았다.

 

코드는 돌아갔다.

LDA도 돌아갔다.

그래프도 나왔다.

결과도 그럴듯했다.

그런데 그다음부터가 문제였다.

 

도대체 tokenizer는 어떤 기준으로 단어를 자르는 걸까?

---

예전에는

형태소 분석기 = 단어 분리기

정도로 생각했다.

 

그런데 직접 돌려보니 그게 아니었다.

예를 들어 내가 중요하다고 생각한 단어는

"범죄"

"테러"

"교육"

이었다.

그래서 코드에도 강제로 넣어 두었다.

 

그런데 결과를 보면

정작 "테러"는 보이지 않는다.

분명 넣었는데.

왜?

---

이건 코드의 문제가 아니다.

당시 "테러"란 말이 없었던 것도 아니다.

그러나 당시 신문은 "테러"란 말을 잘 사용하지 않는다.

 

---

지금 우리는

의열단

폭탄 투척

무장 투쟁

같은 걸 보면서

쉽게 "테러"라고 말한다.

 

하지만 당시 신문은

그걸

"폭도"

"사상범"

"불령선인"

"범죄"

같은 언어로 기록했을 것이다.

 

게다가 김병준 교수님이 올려주신 샘플은 튜플 1,000개뿐이다.

 

그러니 내가 아무리 "테러"를 넣어도

데이터 안에는 없는 것이다.

---

여기서 갑자기 흥미로운 생각이 들었다.

 

나는 tokenizer를 공부하고 있는데

왜 자꾸 역사학 문제가 튀어나오는 걸까?

---

사실 tokenizer는

언어를 숫자로 바꾸는 도구다.

 

그런데 역사학자는

언어를 통해 과거를 읽는다.

 

결국 둘 다 언어를 다룬다.

 

접근 방식만 다를 뿐.

---

그래서 최근에는

'토크나이저를 공부하려면

역사학 논문만 읽어서는 안 된다.'라는 생각이 들었다.

 

오히려

언어학

계산언어학

말뭉치 언어학

NLP

쪽도 같이 봐야 할 것 같다.

---

특히 궁금한 건 이런 것들이다.

1. tokenizer는 어떤 기준으로 단어를 나누는가
2. 사용자 사전은 어떻게 만드는가
3. 불용어는 누가 결정하는가
4. 옛날 한국어는 현대 한국어와 얼마나 다른가
5. 한자와 한글이 섞여 있으면 어떻게 처리하는가

  (아........이거 내가 그냥 두 개 같이 넣거나 함수마다 별개로 설정했는데,

어떤 건 되고, 어떤 건 안 되더라?!

물론, 디버깅해서 원인 다 파악할 수는 있는데, 그 순간만 원인을 알 뿐, 정확히 뭔 원리인지 모르겠음.ㅎㅎㅎ)

 

        # 1. 해당 연도 내부에서 사법 통제 담론과 사회 문화 담론 기사 분리

        legal_mask = year_df['정제_본문'].str.contains('裁判|警察|違反|法律|형사|피고|치안', na=False)

        social_mask = year_df['정제_본문'].str.contains('運動|文化|敎育|學生|학교|동맹|사태', na=False)

같은 의미를 가진 단어 변화는 어떻게 추적하는가

    6. 같은 의미를 가진 단어 변화는 어떻게 추적하는가

---

사실 마지막 질문이 가장 중요하다.

왜냐하면 내가 하고 싶은 연구가 결국 그것이기 때문이다.

---

내가 관심 있는 건

단순히 단어 빈도가 아니다.

 

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

---

결국 내가 추적하고 싶은 건

 

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

 

그래서 요즘은

LDA 결과보다

전처리 과정이 더 재밌다.

---

예전에는

머신러닝이 답을 줄 거라고 생각했다.

그런데 데이터를 직접 만져 보니

머신러닝은 답을 주는 게 아니라

질문을 던지는 쪽에 가깝다.

---

예를 들어

"범죄"와 "교육"이 같은 토픽에 묶였다면

그건 모델이 틀린 게 아니라

당시 신문 기사 안에서

그 둘이 자주 함께 등장했다는 뜻일 수도 있다.

---

그러면 역사학자는

모델을 수정하는 게 아니라

왜 그런 현상이 나타났는지 물어야 한다.

---

생각해 보면

내가 만들고 싶은 SCV도 비슷하다.

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

 

---

그런데 여기서 다시 문제를 만난다.

 

개념어 변화를 보려면

개념어를 제대로 인식해야 한다.

 

개념어를 인식하려면

tokenizer를 이해해야 한다.

---

결국 돌고 돌아 다시 tokenizer다. ㅎ

---

그래서 앞으로는

역사학 논문뿐 아니라

언어학 논문도 읽어 보려고 한다.

(아니, 나 언어도 전공했는데???????????

 이미 형태소 등 비전공자보다는 많이 안다고 생각했는데???.

.... 모든 건 내 착각이었어.)

---

각설하고,

김병준 교수님 논문을 따라가다 보니

처음에는 디지털 역사학 공부라고 생각했는데,

점점

언어학

계산언어학

정보과학

쪽으로도 연결된다.

---

 

즉, 디지털 역사학이란

역사학만 공부해서는 안 된다는 거지. ㅎ

---

오늘의 결론.

 

예전에는

"코드가 돌아가면 끝"

이라고 생각했다.

 

지금은

"왜 저 단어가 저렇게 잘렸지?"

를 먼저 생각한다.

---

그리고 이상하게도

tokenizer를 공부할수록

역사학보다 언어학 논문 읽을 일이 더 많아지고 있다.

(이 와중에 현대사 RP 때문에 내 분야도 아닌 논문 많이 읽고 있어.......)

---

SCV 개발하려다가

계산언어학 등 더 공부하게 생겼네. ㅎ

행복하다...................