ReadyDQ Studio 는 올리브데이터가 직접 개발한 데이터 품질 진단 도구입니다. 데이터 품질을 국내외 기준에 따라 진단하고, 결과를 심사결과보고서 형태로 만들어 냅니다.
현재 사내 업무에 구축해 활용 중입니다. 외부 판매나 배포는 하지 않습니다.도구를 직접 만들어 쓰기 때문에 진단 원가와 기간이 줄고, 고객은 도구 라이선스 비용 없이 진단 결과물만 받습니다.
무엇을 하는가
한 번 실행하면 네 가지 기준에 따른 진단이 함께 수행됩니다.
- 데이터베이스 5종에 직접 연결해 원본을 그대로 읽습니다.
- 기준별 측정 항목을 산출하고 등급을 예비 판정합니다.
- 심사결과보고서(HWPX)를 자동으로 만듭니다.
적용하는 기준은 사업영역 페이지에 정리돼 있습니다.
산출물
| 산출물 | 형식 |
|---|---|
| 심사결과보고서 | HWPX · PDF · MD |
| 진단 리포트 | HTML · PDF |
| 오류 레코드 목록 | CSV · Excel |
| 진단 결과 원본 | JSON |
| 속성 명세서 | JSON |
실행 화면
화면의 표기는 개발 당시 명칭이며, 현재 대외 명칭은 ReadyDQ Studio 입니다.
화면의 'DQ 인증' 은 K-DATA 제도 명칭이며, 본 도구의 판정은 예비 판정입니다.
화면에 보이는 실행 건수는 사내에서 이 도구를 실행한 이력이며, 고객사 수행 실적이 아닙니다.
데이터 취급
데이터는 밖으로 나가지 않습니다
진단은 데이터가 있는 환경에서 그대로 실행됩니다.
데이터를 외부 서버로 보내거나 별도로 올리지 않습니다.
결과를 확인할 수 있는 근거
- 같은 조건이면 같은 결과가 나옵니다. 적용한 규칙 전문과 데이터 해시를 결과에 함께 기록합니다.
- 검사하지 않은 항목과 검사 후 통과한 항목을 구분합니다. 두 가지를 코드 수준에서 나누어, 진단하지 않은 것이 통과한 것처럼 보이지 않게 합니다.
- 적용하지 않은 기준 항목은 그 사유를 함께 적습니다.
- 잘못된 입력과 결함을 일부러 넣어 확인하는 테스트 277건을 두고 있습니다.
실측 결과
자체 진단 사례
공개 데이터로 직접 진단한 사례입니다. 발주받아 수행한 사업이 아니라, 도구를 확인하기 위해 내부에서 실행한 것입니다. 공개 데이터를 썼기 때문에 같은 조건으로 다시 실행해 볼 수 있습니다.
정형 데이터 — 공공데이터포털 「인천항 입출항신고」
| 항목 | 내용 |
|---|---|
| 연결 방식 | PostgreSQL 직접 연결 |
| 검사 범위 | 66,604 레코드 · 값 1,265,476건 |
| 예비 판정 | Class A (평균 0.9923 / 최저 0.9708) |
| 발견 | 시정 필요 10종 5,289건 · 개선 권고 4종 1,793건 |
| 미판정 | 수동 판정 항목 3개 |
비정형 데이터 — AI Hub 「판결서 익명처리」
| 항목 | 내용 |
|---|---|
| 적용 기준 | NIA 인공지능 학습용 데이터 품질관리 가이드라인 v3.5 |
| 검사 범위 | 파일 600개 · 속성 28개 · 스팬 10,885건 대조 |
| 결과 | 스팬 정합성 91.61 — 기준값 95.0에 미달 |
| 미판정 | 수동 판정 항목 6개 |
두 번째 사례는 기준에 미달한 결과입니다. 진단 도구가 미달을 미달로 보고하지 않으면 진단할 이유가 없다고 보아 그대로 싣습니다.
두 사례 모두 ReadyDQ Studio v0.1.0 기준입니다.
내부 실행 현황
아래는 사내에서 이 도구를 실행한 건수입니다. 고객사 수행 실적이 아닙니다.
- 내부 실행 프로젝트8건
- 데이터셋17건
- 진단 실행33건
- 완료율100%(내부 실행 33건 기준)
ReadyDQ Studio v0.1.0 기준입니다.
진단 결과는 예비 판정이며, 법정 인증 판정을 대체하지 않습니다.
문의
진단 범위나 적용 기준에 대한 문의는 아래로 연락 주시기 바랍니다.