01. 연구 (4) 초기 연구 및 실험 03 25년 2학기 과제

범죄 데이터베이스 프로젝트의 핵심은 범죄 데이터 자체가 아니라,
연구 목적에 맞게 데이터를 직접 구조화하고 데이터베이스를 설계해 본 첫 경험이라는 데 있다.

 

원래 일제강점기 신문과 학교 자료를 이용한 연구용 데이터베이스를 구축하고 싶었지만,

적절한 공개 데이터를 확보하기 어려웠다.

그래서 동일한 설계 과정을 현대 범죄 통계에 먼저 적용하여 데이터베이스를 구현하였다.

 

지금 다시 보면 이 프로젝트는 이후 뉴스 데이터베이스 구축과 분석 파이프라인 설계,

그리고 현재 수행 중인 일제강점기 데이터베이스 연구로 이어지는 출발점이었다.

 

그래서 본문에서는 데이터베이스를 어떤 기준으로 설계했는지와 구현 과정을 중심으로 정리하였으며,

하단에는 당시 사용했던 최종 발표자료를 함께 제시하였다.

---

00. 프로젝트 소개

연구를 위한 데이터베이스는 어떻게 만들어야 할까

2024년 2학기 「데이터베이스」 수업에서는 SQL 문법을 배우는 것에 그치지 않고,

실제 데이터를 이용하여 연구에 활용 가능한 관계형 데이터베이스를 설계하는 프로젝트를 수행하였다.

원래는 일제강점기 신문과 학교 자료를 이용하여 데이터베이스를 구축하고,

이를 바탕으로 연구계획까지 연결해 보고 싶었다.

하지만 당시에는 원하는 형태의 역사 데이터를 충분히 확보하지 못했고,

결국 공개되어 있는 경찰청 범죄통계를 활용하여 프로젝트를 진행하게 되었다.

주제는 현대 범죄였지만,

내가 관심을 가졌던 것은 범죄 자체가 아니라

'연구를 위해 데이터를 어떻게 다시 구성해야 하는가'였다.

 

당시에는 경찰청 통계를 연구자가 바로 활용하기 어렵다는 문제를 해결하기 위해

데이터를 다시 설계하고,

SQL로 분석 가능한 형태의 데이터베이스를 구축하였다.

돌이켜 보면 이 프로젝트는 이후 역사 자료를 직접 수집하고,

전처리하며 데이터셋을 구축했던 경험으로 이어지는 중요한 출발점이었다.

---

01. 경찰청 범죄통계는 왜 다시 만들어야 했는가

프로젝트를 시작하면서 가장 먼저 데이터를 살펴보았다.

처음에는 단순히 SQL을 연습하기 위한 자료라고 생각했지만,

실제로는 연구자가 사용하기 어려운 구조라는 점이 먼저 눈에 들어왔다.

예를 들어

• 원하는 범죄만 따로 장기간 비교하기 어려웠고,
• 연도마다 통계 기준이 달랐으며,
• 특히 2023년부터는 집계 방식 자체가 변경되어 이전 데이터와 직접 비교하기 어려웠다.

즉,

데이터는 많았지만

연구하기 좋은 데이터는 아니었다.

 

그래서 프로젝트의 목표를

"범죄 DB를 만든다."

가 아니라,

"연구자가 사용할 수 있는 형태로 데이터를 다시 설계한다."

로 설정하였다.

---

02. 데이터를 연구용 데이터베이스로 재구성하다

프로젝트에서는 지능범죄를 중심으로

2020년부터 2024년까지의 데이터를 하나의 구조로 통합하였다.

가해자,

피해자,

검거,

교육 수준,

직업,

전과,

범행동기 등을 각각 독립된 릴레이션으로 분리하고,

모든 테이블이 동일한 범죄 유형과 연도를 기준으로 연결되도록 설계하였다.

 

이 과정에서 가장 많은 시간을 사용한 것은 SQL이 아니었다.

 

오히려

서로 다른 연도의 데이터를 같은 기준으로 맞추는 작업이었다.

2023년 이후 새롭게 생긴 항목,

사라진 항목,

명칭이 달라진 항목들을 하나씩 비교하면서

연구에 사용할 수 있는 공통 구조를 다시 만들었다.

 

결국 상당한 양의 데이터를 제외할 수밖에 없었지만,

이 과정을 통해

데이터를 단순히 저장하는 것과

연구 가능한 데이터로 만드는 것은 전혀 다른 문제라는 사실을 처음 실감하게 되었다.

---

03. SQL보다 더 오래 남은 경험

데이터베이스를 구축한 이후에는

JOIN,

VIEW,

윈도우 함수,

누적합,

GROUP BY 등을 이용하여

범죄 발생 추세와 검거율 등을 분석하였다.

 

하지만 지금 돌아보면

가장 기억에 남는 것은 SQL 명령어가 아니다.

 

오히려

"연구에 필요한 데이터는 스스로 만들어야 한다."

는 점이었다.

 

특히 데이터를 통합하는 과정에서

상당수 항목을 포기해야 했던 경험은

이후 역사 자료를 다룰 때도 계속 이어졌다.

 

당시에는 데이터가 유실되는 것이 실패처럼 느껴졌지만,

지금은

데이터를 남길 것과 버릴 것을 판단하는 과정 자체가

연구의 중요한 일부라는 사실을 이해하게 되었다.

---

04. 프로젝트를 마치며

지금 다시 보면 이 프로젝트는 데이터베이스를 배우기 위한 과제라기보다,

연구를 위한 데이터를 직접 설계해 본 첫 경험이었다.

비록 당시에는 일제강점기 자료를 구하지 못해 현대 범죄 데이터를 선택했지만,

프로젝트를 진행하면서 계속 생각했던 것은

"연구자가 실제 사용할 수 있는 데이터 구조는 무엇인가"

였다.

이후 일제강점기 신문과 법률 자료를 수집하고,

전처리하고,

데이터셋을 구축했던 과정도 모두 같은 문제의식에서 시작되었다.

지금은 Python과 SQL을 함께 사용하며 훨씬 큰 규모의 데이터를 다루고 있지만,

새로운 자료를 받으면 먼저

구조를 분석하고,

속성을 정의하고,

데이터를 다시 설계하려는 습관은

이 프로젝트에서 처음 생겼다고 생각한다.

그래서 이 프로젝트는 단순한 데이터베이스 과제가 아니라,

이후 디지털 역사학 연구의 기반이 된 경험으로 기억하고 있다.

---

05. 제출한 PPT

이때 나와 함께 발표한 조원은 내 대학원 진학 계획을 알고 있고,

자료 공개도 허락해 주었다.