디지털 인문학 공부 : NLP 전처리 후속 글 "결과가 나왔다고 해서 모두 연구 결과가 되는 것은 아니었다."

이번 글은 기존 글에 이어서 쓰게 되었고,

https://uourstar.tistory.com/64

디지털 인문학 공부 : NLP 전처리 및 파이프라인 실험

 

지난 글에 소개하지 않고 폐기한 산출물과 관련 내 생각 등을 다룬다.

---

지난 글에서는 전처리와 토크나이저를 수정하면서 파이프라인을 다시 구축한 과정을 정리했다.

당시에는 토큰화 실패율이 크게 감소했고, 이전에는 거의 검출되지 않던 핵심 개념어도 다시 나타났기 때문에 분석 환경이 상당 부분 안정화되었다고 생각했다.

그 상태에서 파이프라인 전체를 다시 실행하자 여러 시각화 결과도 함께 생성되었다.

대표적인 결과가 아래 두 그림이었다.

• 신문과 법률 기록의 프레임 변화를 시간축에서 비교한 SCV(Structural Co-variation) Timeline

• 

  참고로 기존 글에도 적었듯 35-37년은 내가 임의로 설정한 거다... 지금 당장 데이터셋이 없어서 제대로 분석할 수 없음. ㅎ

  
  
• 특정 사건 전후 담론 변화를 비교한 Event Window

• 

  
  

겉으로 보기에는 연구 결과처럼 보이는 그래프였다.

실제로 당시에는 "이 정도면 어느 정도 의미 있는 패턴이 나온 것 아닐까?"라는 생각도 했다.

하지만 작업은 거기서 끝나지 않았다.

---

그래프보다 먼저 다시 확인한 것은 CSV였다.

중간 산출물을 하나씩 검토하던 과정에서 예상하지 못했던 문제가 다시 발견되었다.

토크나이저를 교체하면서 토큰화 자체는 크게 개선되었지만,

새 토크나이저의 출력 형식에 기존 후처리 코드가 제대로 대응하지 못하고 있었다.

그 결과 조사와 어미, 품사 태그가 그대로 분석 과정에 포함되고 있었고,

이러한 노이즈가 이후 프레임 분석에도 영향을 주고 있었다.

프레임 분석 결과도 다시 확인했다.

 

표면적으로는 '저항 프레임'이 높게 나타나는 것처럼 보였지만,

핵심 개념어의 추출 상태와 사전 구성 방식을 함께 검토해 보니 그대로 해석하기에는 어려운 부분이 남아 있었다.

언론 자료와 법률 자료를 비교하는 단계에서도 기준 분포가 임시값으로 설정되어 있다는 사실을 뒤늦게 확인하였다.

즉, 그래프는 만들어졌지만 그래프를 구성하는 데이터 자체가 아직 충분히 검증되지 않은 상태였다.

 

---

 

그나마 SCV를 전면에 내세우지 않은 디버깅 및 검증 기록은 분석 과정을 중심으로 정리할 수 있었다.

반면 상단에 소개한 두 시각화는 달랐다.

 

그래프 자체는 생성되었지만,

이를 그대로 제시하면 아직 충분히 검증되지 않은 분석 결과를 확정적인 연구 성과처럼 받아들일 가능성이 있었다.

결국 두 그림은 연구 결과로 사용하지 않기로 결정했다.

 

지금도 프로젝트 폴더에는 원본 그래프와 코드가 그대로 남아 있지만,

마찬가지의 이유에서 이번 입시 자료와 연구노트에서는 제외하였다.

 

이 이유도 단순하다.

당시의 그래프는 파이프라인이 어떤 값을 출력했는지는 보여주지만,

그 값이 역사적으로 신뢰할 수 있는 결과인지까지는 보장하지 못했기 때문이다.

 

그래프가 만들어졌다는 사실만으로는 연구 결과라고 말할 수 없다고 판단했다.

---

이 과정에서 함께 정리한 것이 당시 프로젝트 내부에서 사용하던 SCV(Structural Co-variation)라는 이름이었다.

 

SCV는 담론 변화를 하나의 작업 단위로 관리하기 위해 붙인 내부 프로젝트명이었으며,

코드와 일부 시각화 파일에도 그대로 사용하였다.

 

하지만 연구 방향을 다시 정리하면서 이 명칭은 더 이상 사용하지 않기로 했다.

 

SCV라는 이름이 새로운 분석 방법이나 이론처럼 받아들여질 가능성이 있었기 때문이다.

 

실제로 내가 확인하고 싶었던 것은 'SCV'라는 새로운 분석틀이 아니라,

담론과 범주 관련 역사학적 질문이었다.

그래서 이후 연구에서는 SCV라는 프로젝트명을 전면에 내세우기보다,

내 연구 질문을 중심으로 연구를 다시 정리하였다.

---

돌이켜보면 이번 프로젝트에서 가장 크게 바뀐 것은 분석 모델이 아니라 연구를 수행하는 방식이었다.

처음에는 좋은 알고리즘을 적용하면 좋은 결과가 나올 것이라고 생각했다.

 

하지만 실제로는 입력 데이터의 작은 문제가 파이프라인 전체로 전달되었고,

마지막 단계에서 생성된 그래프 역시 그 영향을 그대로 받고 있었다.

그래서 지금은 새로운 모델을 적용하는 것보다 원자료와 중간 산출물,

그리고 최종 결과를 반복해서 확인하는 과정이 더 중요하다고 생각한다.

 

이번 프로젝트를 통해 얻은 가장 큰 성과는 새로운 그래프를 만든 것이 아니라,

그럴듯한 결과가 나왔더라도 그대로 받아들이지 않고 다시 검증하는 연구 태도를 배우게 되었다는 점이다.

---