디지털 인문학 공부 : 일제강점기 데이터셋 확인

입시설명회 이후 생각이 많아졌다.

 

내 원전 RP보다 훨씬 짧은 Project Overview에 대한 반응이 더 좋았던 것을 보며,

지금은 일제강점기 연구에서 내가 말하고자 하는 SCV를 먼저 설명하는 것이 중요하겠다는 생각이 들었다.

 

그럼에도 여전히 데이터셋 문제가 남아 있었다.

 

예전에는 "일제강점기 데이터는 구하기도 어렵고 정제도 되어 있지 않으니 나중에 해야지."라고 생각하며 미뤄두었다.

https://uourstar.tistory.com/17

디지털 역사학 & 디지털 인문학의 한계와 발전 가능성

 

하지만 최근 몇 달 동안 Research Proposal과 자료들을 하나씩 펼쳐 보니,

완전히 맨땅은 아니라는 사실을 새삼 깨닫게 되었다.

 

오히려 지금 단계에서 파일럿 연구를 시작할 정도의 재료는 이미 어느 정도 확보되어 있었다.

---

1> 국가기록원 집행원부 데이터: 법적 기록 체계

최근 정리한 자료 중 하나가 국가기록원의 독립운동 관련 집행원부 데이터다.

여기에는 1919년부터 1945년까지의 이름, 죄명, 판결일, 판결기관 등이 포함되어 있다.

물론 이 자료가 객관적 사실 자체를 보여주는 것은 아니다.

오히려 식민 통치 기구가 생산한 법적 기록 체계의 산물이라고 보는 편이 더 정확하다.

다만 적어도 어떤 행위가 어떤 죄명으로 분류되었고, 어떤 시기에 어떤 유형의 사건이 집중되었는지는 확인할 수 있다.

따라서 내게는 일제강점기 법적 기록 체계를 추적할 수 있는 하나의 기준선이 되어준다.

---

2> 조선일보 샘플 데이터와 고등경찰요사: 언어의 차이

또 다른 축은 이미 지난 2월에 다뤘던 1920~1940년대 조선일보 샘플 데이터 약 1,000건으로,

이 데이터는 당대 사건들이 사회적으로 어떻게 서술되고 이해되었는지를 보여주는 신문 기록 체계이다.

 

솔직히 이건 이미 형태소 분석과 토픽 모델링 그리고 김병준 교수님께서 공개하신 근대 한국어 토크나이저도 적용해 보았으니,

바로 추가 분석하기 쉽다.

https://uourstar.tistory.com/28

디지털 역사학 : 김병준 교수님 오픈소스 tokenizer로 분석하는 일제강점기 조선일보 텍스트

문제는 공훈전자사료관의『고등경찰요사』다.

위 두 자료는 연결되지만,

당장 『고등경찰요사』를 내 파이프라인에 얹을 수 없다.

그리고 이 이유는 명확하다.

• 한국어가 아닌 '일제식 행정 일본어 문어체(漢文訓讀體)': 텍스트를 보면 알겠지만, 한글은 뒤에 붙은 주석([을사조약], [베델])뿐이고 본문은 100% 한자와 일본어 카타카나 조사(ハ, ニ於テ, ノ, ヲ)로 이루어진 과거 일본어 문장이다. 즉, 한국어 텍스트 마이닝 도구로는 아예 읽을 수조차 없다.
• 근대 한국어 토크나이저 적용 불가: 김병준 교수님의 토크나이저는 근대 '한국어(국한문혼용 포함)'를 타깃으로 만든 거라, 이 일제 경찰의 일본어 텍스트를 집어넣으면 형태소 분석기가 그대로 뻗어버리거나 아무 의미 없는 외계어로 분해해 버린다. 이 데이터를 쓰려면 일본어 고어(古語) 형태소 분석기를 쓰거나 수동 번역이 선행되어야 한다.
• 표(Table) 형태가 아닌 통째로 된 서술형 내러티브: 집행원부처럼 ID, 이름, 죄명, 날짜가 칼같이 나누어진 구조화 데이터가 아니라, "이조 말기의 누적된 폐단은~"으로 시작하는 연대기식 역사 보고서다. 텍스트 안에서 특정 '사건'과 '날짜'를 정량적으로 발라내려면, 결국 텍스트를 다 읽고 쪼개야 하는 질적 분석 공수가 엄청나게 들어간다.

 

第二章 鮮內治安槪況

第一節 暴徒蜂起

一、原因及經過
李朝永年ニ亘ル積弊ハ明治二十七八年戰役ノ動機タル本道慶州郡見谷面柯亭里出身崔濟愚ヲ領首トスル東學黨一派ノ擾亂トナリ次テ日露戰爭勃發後ニ於ケル日本政府ノ態度ニ疑ヲ挾ミ韓國ノ將來ヲ憂フルモノ多キヲ出シタルニ加ヘ明治三十八年十一月十七日日韓保護條約[을사조약]ノ締結ヲ見ルヤ當時尹致昊ヲ會長トスル大韓自强會及鄭雲復ヲ會長トスル西友學會等ハ皇城新聞萬歲報等ト相和シ、日本政府ヲ攻擊盛ンニ排日ノ氣勢ヲ煽リ殊ニ米國人ホーマー、ビーバルバート[호머 B. 헐버트]ハ韓國評論雜誌ヲ發行シテ日韓國交ノ阻隔ト民心ノ反感ヲ嗾リ英人ベツセル[베델]亦大韓每日新報ヲ發行シテ帝國ノ對韓政策ニ反對中傷ヲナシ又安昌浩ハ米國ヨリ歸來排日ノ熱辯ヲ試ミ靑年義憤ノ嚮フ處ヲ說破シテ民論ノ激發ニ努メ尙議政府參贊李相卨、法部主事安秉瓚、特進官趙秉世、侍從武官長閔泳煥、前贊政崔益鉉、宗廟提調尹泰興、特進官李根命等知名ノ人士ハ新協約ノ取消方ヲ上疏シ就中閔泳煥ハ憂國ノ遺書ヲ裁シテ自刎シ、趙秉世亦藥ヲ仰イテ自殺シ其他駐英公使李漢應、前參判洪萬植、學
- 3 -

部主事李相哲等相亞イテ憤慨自殺スル等之等排日ヲ目的トスル各種事件ハ隨所ニ起リ人心ニ多大ノ刺戟ヲ與ヘ時勢ヲ憤慨スルモノ一時ニ起チ朝野ヲ擧ケテ邦家滅亡ノ聲起レリ就中三南ノ地ハ李朝歷代ノ政治ニ參與シ來レル兩班儒生ノ淵叢地ナルヲ以テ日本ノ勢力扶殖ニヨリ社會的地位ノ失墜ヲ虞レ反感極度ニ募リ居タルタメ排日思想ノ傳播最モ早ク義憤ノ念亦深刻ナルモノアリ卽チ前參判ノ官位ヲ有スル兩班閔宗植ハ明治三十九年五月日本ノ羈絆ヲ脫スルヲ名トシ忠淸南道公州邑ニ據リテ自ラ義軍五百餘名ヲ率ヰテ起チ之レト相策應シテ慶尙北道安東附近ニ於テモ儒生七、八十名ヲ混セル暴徒起リ又全羅北道泰仁附近ニ於テモ老儒崔益鉉義兵ヲ擧ケタル等南鮮ノ兩班儒生ニヨリ全鮮ニ先ンシテ暴徒騷擾ノ端ヲ開キタリ
而シテ其後警務機關ノ擴張、財務ノ刷新等庶政日ヲ逐フテ改善進捗スルニ從ヒ之レト利益相反スル吏胥ノ徒輩暗ニ地方民ヲ煽動シ各地ニ於テ小騷擾ヲ生シタルモ何レモ局部的事件ニシテ大事ニ至ラス經過シ來レリ然ルニ其後時ノ韓皇ハ協約ニ基キ外交ノ一切ヲ擧ケテ之レヲ帝國ニ委任セルニ拘ラス終始在外亡命者及米人ハルバート[헐버트]等ト氣脈ヲ通シ諸種ノ陰謀ヲ講シ日韓ノ關係破壞ニ努メ遂ニ明治四十年七月密カニ使臣李相卨、前參贊李儁、前平理院檢事李瑋鍾ノ三名ヲ海牙[헤이그]ノ萬國平和會議ニ派シ日本ノ施政ヲ讒誣シ明治三十八年ノ協約ハ韓國皇帝ノ意思ニ反シテ成立セルモノナルコトヲ告ケ列國ノ同情ヲ求メテ其ノ羈絆ヨリ脫スヘク哀訴スル所アリタルコト曝露シ、爲ニ我外務大臣ノ韓國派遣トナリ延イテ韓皇ノ讓位、內閣ノ更迭トナルヤ物情騷然流言百出或ハ之レヲ以テ日本ノ强壓ニ基クモノトナシ政治上ニ志ヲ得サルモノ亦熾ンニ民心ヲ煽動シ狀態刻刻不穩ノ度ヲ增シ遂ニ明治四十年七月十八、九日ニハ多數ノ韓民鍾路ニ蝟集シ社稷將ニ危シトシテ國ノ終末ヲ叫ヒ韓國軍隊ノ氣槪ナキヲ責メ遂ニ韓兵百餘名ハ兵營ヲ脫出二隊ニ分レ一ツハ鍾路巡査派出所ヲ襲ヒテ之レヲ破壞シ一ツハ警備ニ從事セル警察官ヲ射擊シ双方ニ數名ノ死傷者ヲ出シ更ニ同夜暴徒ノ一團ハ一進會ノ機關紙國民新聞社ヲ襲ヒテ建物ヲ破壞セル等ノ椿事ヲ惹起シ流血ノ慘劇ヲ演スルニ至レルモ七月二十三日ヲ以テ殆ント平靜ノ狀態ニ復セリ然ルニ七月二十四日內政改善ノ日韓新協約ヲ結ヒ次テ八月一日韓國軍隊ノ解散ヲ斷行スルヤ侍衞步兵第一聯隊第一大隊及第二聯隊第一大隊ハ解散式場ニ臨ムニ先チ第一聯隊第一大隊長朴昇煥ノ自殺ニ端ヲ發シ士卒ノ激憤一時ニ昻リ敎官タル日本將校以下ニ迫害ヲ加ヘントセルノミナラス兵營受領ノタメ出張セル我軍隊ニ對シ反抗セシヲ以テ干戈ヲ交ヘ暫クシテ鎭定セリ然ルニ此小戰ニ於テ彼ハ多大ノ死傷者及捕虜ヲ生シタルモ一部ハ遁走各地ニ分散セルタメ衝突ノ眞相誤傳セラレ儒生兩班其他排日鮮人等ノ心裡ヲ激成シ一面時勢ヲ利用セントスル火賊之レニ混在シテ遂ニ爾後數年ニ亘ル騷擾ノ動機ヲ作ルニ至レリ卽チ八月六日ニハ江原道原州鎭衞隊ノ暴動トナリ同十日ニハ京畿道江華島分遣隊ノ反抗トナリ京畿、江原、忠淸、黃海
慶尙、全羅ノ諸道相踵イテ暴徒ノ蜂起ヲ見ルニ至リタルカ此間韓國政府外交顧問スチーブン[스티븐]ハ明治四十一年三月二十三日賜暇歸國ノ際桑港[샌프란시스코]ヨリワシントン[워싱턴]府ニ赴カントシオークラント[오클랜드]停車場ニ於テ田明雲、張仁煥ノタメニ狙擊セラレテ死亡シ、伊藤博文ハ露西亞[러시아]大藏大臣ト會見ノタメ明治四十二年十月二十六日ハルビン[하얼빈]停車場ニ到着シ大藏大臣ノ求メニ應シ參列軍隊ヲ閱兵中安重根、禹德淳等ノタメニ暗殺セラレ又首相李完用ハ明治四十二年十二月二十二日ヘルギー[벨기에]皇帝レオボルド[레오폴드]二世逝去ニツキ追棹式參列ノタメ京城明治町天主敎會堂ニ到リ歸途人力車ニテ敎會ノ門ヲ出テントスル剎那李在明(新民會尹致昊、安昌浩等裏面ニアリテ活動ス)ノタメニ刺サレ兇刄肺部ニ達シタルモ幸ニ死ヲ免レ之ヨリ先明治三十九年一月軍部大臣李根澤ノ暗殺、參政大臣朴齊純宛爆彈ヲ充塡シタル西洋巢子郵送事件等アリ眞ニ國權回復ノ念願ヨリ出テタリト認ムヘキ暗殺陰謀ノ頻出ヲ見ルニ至リ暴動ハ一層激成サルルモノアリタルモ遂ニ明治四十四年九月下旬ヨリ十一月上旬ニ亘ル黃海道平山地方ノ掃蕩ヲ最終トシテ全ク鎭定セリ
此間討伐衝突ニ因ル守備隊ノ死者百三十六人、負傷二百七十七人、暴徒ノ損害死者一萬七千七百七十九人、負傷三千七百六人ニシテ本道ニ於テ判明セル暴徒ノ死者一千三百八十四名、負傷者五百八十二名ヲ算セルモ數年間ニ亘ル討伐中ニハ暴徒ノ服裝良民ト異ナラス變幻巧ミナリシタメ善惡ノ判斷ヲ誤リテ良民ヲ死傷セシメタルモノモ相當アルヘク殊ニ暴動發生初期ニ於テハ部民ノ暴徒ニ同情庇護スル所アリシヲ以テ討伐隊ハ責ヲ現犯ノ村邑ニ歸シテ誅戮ヲ加ヘ全村ヲ燒夷スル等ノ措處ヲ實行シ忠淸北道堤川地方ノ如キハ滿目殆ント焦土ト化スルニ至レル事例アリ是レ固ヨリ土民ニ一部ノ罪アリト雖モ一面暴徒ヲ庇護スル彼等ノ暴虐ト後難ヲ恐レタルカタメニシテ同情スヘキ點アルノミナラス其父母、兄弟ヲ失ヒタル一家眷族ハ擧ケテ日本ヲ恨ムニ至ルハ明白ナル事柄ニシテ排日ノ因ハ此等暴徒及良民ノ殺戮ニヨリ其範圍ヲ擴メ且スチーブン及伊藤博文等ノ暗殺決行ハ何レモ時勢ヲ憤槪國外ニ走リタルモノ或ハ討伐ノ難ヨリ免レタル亡命者等ノ所爲ニシテ一部ニ於ケル排日ノ精神ハ牢トシテ拔クヘカラサルモノアルト共ニ暴徒討伐ニヨリテ將來一層多クノ排日者ヲ生セシムルニ至リタルハ蓋シ容易ニ推想シ得ラルル所ナルノミナラス暴徒蜂起ノ全般ヲ綜合スルトキ平南北、咸南北、等李朝時代官職ニ就クヲ得サリシ北鮮地方ニ於テハ暴動六年ヲ通シテ僅ニ數回ヲ算セルノミナルニ比シ永年政治ニ參與シ來リシ黃海道以南ニ最モ多ク而モ忠南、全北及本道ノ兩班儒生ニ於テ全鮮暴動ノ先鞭ヲ打チ居レルノミナラス暴徒首魁ニシテ其火賊ト稱スルモノモ名門ノ出ニシテ地方ニ於テ勢力ヲ有スルモノ多ク從ツテ之等首魁カ一度義擧ニ出ツルヤ風ヲ望ンテ數百乃至數千ノ輩下之レニ參シ而シテ討伐隊ニ對シテ頑强ニ抵抗シタルモ亦相當ノ理由アルヘク此等諸種ノ事情ハ暴動蜂起ノ性質ヲ考察スル上ニ於テ最モ注目スヘキ事象ト認メラル
道內ニ於ケル暴動ノ狀況下記ノ通リナルカ保存書類絶無ニシテ僅カニ朝鮮史及暴徒討伐誌等ニヨリ槪況ヲ知ルノミニシテ高等警察上最モ重要ナル暴徒首魁ノ系統、首腦人物及死者ノ氏名、身元等不明ナルハ甚タ遺憾トスル所ナルモ事件ハ顧問政治時代及併合直後ノモノニシテ當時ノ事情上亦止ムヲ得サルモノアルヘシ然リト雖モ本道內ヲ橫行セル暴徒首魁中一、二ノ人物ニツキ權威者ノ言ヲ聞クニ李夏鉉ハ眞寶李氏、申乭石ハ寧海申氏、金淳鉉[金道鉉]ハ金海金氏、鄭鏞基ハ迎日鄭氏ニシテ何レモ相當著名ノ兩班儒生ニシテ其他道內各地ニ起リタル暴徒モ必スヤ大半名門ノモノ其首魁タリシモノト認メラル

二、明治三十九年ニ於ケル暴徒
首魁金淳鉉[金道鉉]、申乭石、鄭鏞基及李夏鉉ハ元來火賊ノ頭領ニシテ性慓悍ナル無賴漢ナルカ明治三十九年三月忠淸南道公州ニ於テ倡義軍五百ヲ率ヰテ頑强ニ抵抗シタル兩班閔宗植及明治三十九年五月林炳瓚ト共ニ徒黨百數十名ヲ以テ全北泰仁ニ兵ヲ擧ケ其後捕ヘラレ明治四十年一月對馬ニ於テ病死セル老儒崔益鉉等ト氣脈ヲ通シ名ヲ義兵ニ藉リ專ラ掠奪ヲ逞フセリ卽チ
金淳鉉[金道鉉]ハ明治三十九年一月英陽ニ於テ暴徒約百名ヲ蝟集蜂起セルモ日ナラスシテ大邱鎭衞隊ニヨリ鎭定セリ同年四月下旬ヨリ申乭石ハ寧海ニ、李夏鉉ハ眞寶ニ、鄭鏞基ハ盈德ニ蜂起シ其數二百乃至六百名ニシテ五月上旬ヨリ六月ニ至ル間縣內面(安東ノ東方約一里半)靑松、義城、梨田坪(靑松ノ東南約四里)盈德、寧海、英陽及江原道平海、蔚珍、三陟ノ各地ニ出沒橫行シテ金穀銃器ヲ劫掠セリ依テ韓國政府ハ六月上旬討伐ノタメ大邱鎭衞隊ヨリ韓兵二百名ヲ又原州鎭衞隊ヨリ百名ヲ向ハシメ協力シテ平海附近ニ賊ト衝突驅遂シタルモ首魁ハ迯走セリ

三、明治四十年ニ於ケル暴徒
八月一日軍隊解散ノ報江原道原州鎭衞隊ニ達スルヤ大隊長電命ニヨリ上京ノ途ニ就キタル後閔肯鎬首魁トナリテ全兵ヲ指揮シ銃器彈藥ヲ持出シテ八月五日兵營ヲ脫走シ數多ノ小團ニ分割シテ江原道江陵、襄陽、忠淸北道堤川、忠州、京畿道麗州地方ニ出沒橫暴ヲ逞フセリ首腦株ハ許俊、李京三、金萬軍、高石伊、金君必、李韓昌、韓基錫、韓甲復、尹起榮、李康年、金生山、邊鶴基、曺仁煥等主ナルモノナルカ此一派ハ八月下旬ニ至リ豐基、榮州、順興地方ニ出沒セルノ報アリ在安東討伐隊ハ眞寶附近ヲ掃蕩ノ上引返シテ榮州ニ出テ同月二十七日豊基ニ至レリ時恰モ暴徒約三百名ハ同地警務分遣所ヲ襲ヒ我警官一名慘殺サレタルモ遂ニ西方ニ擊退サレタリ

게다가 해석도 문제다.

어릴 적부터 한자와 일본어 공부했는데도, 요즘 안 써서 그런지 바로 모든 걸 읽어내기 어렵다...

물론, 파파고 등 이용하면 된다지만,

언어학을 공부해 보았기에 고서의 "단순 번역"을 믿기는 어렵다.

당장 비슷한 시기 한글만 해도 어떠했는가?

1930년대에야 맞춤법 통일안이 나왔지.

게다가 현대 한국에서 TV 보급된 뒤에야 표준어가 전파된 것처럼 저때 저런 노력은 생각보다 빛을 발하지 못했을 수도 있다.

당장 내가 1930년대 언어를 흉내 낼 수 있는 이유만 해도 뭐겠는가.........

 

https://encykorea.aks.ac.kr/Article/E0078766

한글 마춤법 통일안

 

 

그럼에도 일단 신문의 언어와 식민 권력의 언어를 비교할 수 있는 출발점이 되기에 위 자료는 중요하다.

그러니 정말 연구하고 싶거든 데이터셋 내가 만들어야지.................ㅎ

---

3> 지금 당장 해볼 수 있는 것

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

---

4> 그래서 지금은 작은 규모의 실험부터

 

지금 단계에서 중요한 것은 거대한 데이터셋을 새로 구축하는 것이 아니다.

오히려 내가 이미 확보한 자료를 활용해 작은 규모의 실험을 시작하는 것이 더 중요하다.

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

---

5> 결국 다시 연구 질문으로 돌아간다

지난 1년 동안

Kiwi

TF-IDF

LDA

시계열 분석

Lag 분석

등을 공부했다.

 

하지만 지금 돌이켜보면 이것들은 모두 목적이 아니라 도구였다.

내가 정말 궁금했던 것은

 

"공유 및 검토 목적이 달성된 듯하여, 자세한 내용은 비공개 전환했습니다.

현재 관련 내용은 연구계획서와 Git 저장소에서 별도 관리하고 있으며

공개 글에서는 문제의식 중심으로만 소개하게 되었습니다."

 

지금 가진 자료만으로도 그 질문을 완전히 해결할 수는 없을 것이다.

하지만 최소한 그 질문을 향해 한 걸음 더 나아갈 정도의 자료는 이미 확보되어 있다.

당분간은 새로운 방법론을 추가하기보다,

지금 내 손에 있는 자료들로 이 질문을 어떻게 보여줄 수 있을지부터 다시 고민해 보려 한다.