디지털 역사학 : 데이터는 있는데 왜 분석이 어려운가 (공공 데이터 편)

그동안 일제강점기 데이터를 조사하며,

데이터가 있는데도 뭔가 이상하게 손이 많이 간다는 느낌을 받았다.

그 느낌이 정확히 무엇이었는지를 확인하려고,

일제강점기·근현대사 연구에서 실제로 참조되는 공공기관 데이터를 하나씩 조사해 봤다.

이 글에서 다루는 공통 주제는 하나다.

 

공공기관 데이터는 공개되어 있지만, 연구용 데이터셋은 아니다.

---

1. 국사편찬위원회 한국사데이터베이스 (db.history.go.kr)

가장 먼저 확인한 곳. 규모부터 압도적이다.

• 2025년 1월 기준 총 123종, 1,100만여 건, 16억 7천만여 자의 자료를 제공한다.
• 근대사 자료로 주한일본공사관기록, 일제감시대상 인물카드, 신문·잡지 등을 포함한다.

이 수치는 국사편찬위원회 공식 안내 문구와 정확히 일치한다.

국가기관이 운영하는 만큼 서지정보의 신뢰도도 높다.

문제는 여기서부터다.

공공데이터포털을 통해 XML/CSV 파일 데이터나 RestAPI 기반 오픈 API로 제공되는 항목은

전체 소장 자료 중 일부에 한정된다.

 

다수의 핵심 자료는 여전히 웹 인터페이스를 통한 개별 열람 방식으로만 열려 있다.

즉 "검색이 된다"와 "대량으로 내려받을 수 있다"는 전혀 다른 이야기다.

데이터셋별로 제공 형식·범위·갱신 주기가 다 달라서,

시계열 전체를 한 번에 확보하려고 하면 통합 처리부터 막힌다.

실제로 부딪힌 사례 하나를 붙여둔다.

교육부 국사편찬위원회_한국사데이터베이스 정보_일제침략하 한국36년사_20220510 이 데이터는 『일제침략하 한국36년사』로, 1910년 8월부터 1945년 8월까지의 일제강점기 36년간의 정치, 경제, 사회, 문화 등 전 분야의 주요 사건을 편년체로 정리한 자료집이다.

https://www.data.go.kr/data/15100189/fileData.do

교육부 국사편찬위원회_한국사데이터베이스 정보_일제침략하 한국36년사_20220510

 

파이썬으로 엑셀 정리까지는 쉬웠는데,

막상 열어보니 쓸모가 없었다....

게다가 글자도 깨지고 원자성 등이 안 지켜져서

내가 전처리를 해야만 했다.

예를 들어 일제감시대상인물카드 경우 내가 직접 전처리를 했다.

 

 

"적용죄명" 같은 항목도 텍스트 안에 그냥 묻혀 있어서 별도로 분리해줘야 한다.

국가기관이 정리한 자료라고 해서 분석 대상과 관리 정보가 이미 나뉘어 있는 게 아니라는 뜻이다.

아무튼 전처리도 어렵진 않다.

그래서 전처리도 가볍게 했는데,

막상 데이터를 보면 '이걸 어떻게 써야 하지?'란 생각만 든다.

한자, 일본어, 한국어, 조선어 등 다 섞여 있고,

데이터 층위 차이도 있어서 저 파일만 보고 구축 가능한 ERD가 쉽게 떠오르지 않는다.

 

 

 

참고 링크

• 한국사데이터베이스: https://db.history.go.kr/

 

---

2. 대한민국 신문 아카이브 (nl.go.kr/newspaper)

국립중앙도서관이 운영하는 고신문 아카이브. 여기서 LOD 데이터를 직접 다뤄봤다.

장점은 분명하다.

로그인 기반 상업 서비스와 달리 공개 LOD 데이터를 제공해서,

대량 수집 시 약관 위반이나 차단 위험을 구조적으로 피할 수 있다.

Turtle(TTL), RDF/XML, JSON-LD 형식으로 국가서지 링크드 오픈 데이터를 내려받을 수 있다는 점도 공식적으로 확인된다.

그런데 막상 RDF/TTL을 파싱해보면 세 가지 문제가 동시에 나온다.

1. 메모리 처리 효율이 낮다 (그래프 구조 자체가 무겁다).
2. 본문과 관리 메타데이터(소장처, 등록 정보 등)가 같은 스키마 수준에서 섞여 있다.
3. 날짜 필드가 발행일과 등록일을 명확히 구분하지 않은 채 들어온다.

"개방형 데이터"라는 형식적 조건은 충족되지만, 그게 분석 친화적인 데이터로 자동 변환된다는 뜻은 아니다.

LOD라는 이름이 가공 비용을 줄여주지 않는다.

참고 링크

https://uourstar.tistory.com/17

디지털 역사학 & 디지털 인문학의 한계와 발전 가능성

 

• 대한민국 신문 아카이브: https://www.nl.go.kr/NL/contents/N20200000000.do
• 소장자료(LOD) 데이터셋: https://www.data.go.kr/data/15083378/fileData.do

국립중앙도서관

 

문화체육관광부 국립중앙도서관_소장자료(LOD)_20230116

여담인데, 실제 뉴스 데이터가 있다고 하더라도 

지금 당장 내 능력 선에서는 이 뉴스 데이터를 활용하기 힘들 거라 생각한다.

 

솔직히 아래 자료만 해도 어떤가?

저 자료 경우 올해 8월에 언급한 김병준 교수님 토크나이저 깃에 있던 신문 자료를 전처리한 건데,

저런 걸 어떻게 써야 할지 막막하다.

 

 

---

3. 국가기록원 (archives.go.kr)

나라기록물 검색 서비스를 오픈 API(RSS 형식)로 제공한다. 문제는 호출 제한이다.

나라기록물 검색서비스 OpenAPI는 기록물에 대한 검색 결과를 RSS형식으로 전달하는 API서비스이며, OpenAPI를 통한 질의건수는 하루 사용량 1,000건 미만으로 제한하고 있습니다.

이건 국가기록원 공식 이용안내 문구다. 인증키 없이는 하루 1,000건도 안 되고, 그 이상 쓰려면 담당 부서에 별도로 문의해야 한다.

647만 건 규모의 레코드를 다뤄야 하는 입장에서 보면, 이 제한은 애초에 대규모 코퍼스 구축을 전제하지 않은 설계다. 1,000건/일이라는 숫자와 실제 디지털 인문학 연구가 요구하는 처리 규모 사이에는 최소 세 자릿수 이상의 격차가 있다.

참고 링크

• OpenAPI 사용안내: https://www.archives.go.kr/next/newsearch/openAPI01.do
• 나라기록물정보 서비스 (공공데이터포털): https://www.data.go.kr/data/15084333/fileData.do

행정안전부 국가기록원_독립운동관련 판결문 콘텐츠 DB_20230829

 

 

정보공개>공공데이터 개방>OpenAPI 사용안내

 

---

4. 독립기념관 한국독립운동정보시스템 (search.i815.or.kr)

https://search.i815.or.kr/openApi.do

우선 이 사이트는 신문자료 등을 바로 열람할 수 있다는 점에서 좋다.

그런데 하나의 통합 API가 아니라,

소장자료·국내사적지·국외사적지·인명사전·소장도서목록·소장도서목차·소장도서색인·대한인국민회 등

8개의 개별 오픈API를 공공데이터포털 및 자체 사이트(openApi.do)를 통해 제공한다.

 

장점: 특히 인명사전 API는 운동계열(3.1운동, 광복군, 의열투쟁 등 20개 코드)과 포상훈격(대한민국장, 독립장 등 8등급), 내/외국인 여부 같은 범주형 메타데이터에 더해, 인물별 서술형 본문(content 필드)과 참고문헌까지 하나의 레코드로 제공한다. 범주형 필드로 바로 통계·시계열 분석이 가능하고, content 필드로 텍스트 분석도 가능하다는 점에서 접근성이 상당히 좋다. 

 

한계: 다만 이 접근성은 API마다 편차가 크다. 소장도서목차·소장도서색인 API는 도서명·저자·출판연도 같은 서지정보와 목차 항목 나열만 제공할 뿐, 원문 본문 자체는 포함하지 않는다. 즉 "인물 서사"는 풍부하게 열려 있지만, "소장 도서·사료의 원문"으로 가는 길은 여전히 목차 수준에 머물러 있다. 같은 기관 안에서도 데이터셋 유형에 따라 분석 가능한 깊이가 크게 달라진다는 점이 이 인프라의 실제 특징이다.

 

---

종합: 공공 데이터가 공통으로 보여주는 것

네 기관을 나란히 놓고 보면 패턴이 보인다.

• 열람은 대체로 잘 된다.
• 대량 다운로드는 기관마다 편차가 크고, 전체적으로 제한적이다.
• 본문과 메타데이터가 명확히 분리된 사례는 드물다.
• 공공기관은 이용 조건이 비교적 명확하다(공공누리 등).

"사료가 부족하다"는 진단은 더 이상 정확하지 않다.

오히려 문제는, 사료가 이미 풍부하게 디지털화되어 있는데도

그 디지털화가 대량·교차 분석을 전제로 설계되지 않았다는 데 있다.

다음 글(플랫폼 편)에서는 네이버 뉴스 라이브러리, 규장각,

한국고전종합DB, 일본 국회도서관처럼

"연구를 돕는 인프라"를 표방하는 곳들이 실제로 어디까지 열려 있는지를 살펴보겠다.