텍스트가 없는 스캔 PDF에서 사진 페이지만 골라내기: 페이지 윗부분만 OCR로 읽는 방법
법원경매 물건의 사진을 자동으로 모으는 기능을 만들었습니다. 처음 조사했을 때는 “사진이 PDF 안에 있어서 복잡하다”며 한 번 미뤘던 작업입니다. 막상 끝까지 파고드니 생각보다 빨리 풀렸고, 그 과정을 정리해 둡니다.
사진은 어디에 있었나
법원경매 사이트의 물건 목록에는 사진이 따로 없습니다. 물건 상세 화면에서 “감정평가서” 버튼을 누르면 PDF가 열리는데, 이 PDF 안의 “사진용지” 페이지에 건물 전경 사진이 들어 있습니다. 다행히 이 PDF는 로그인 없이 URL만 있으면 받을 수 있었습니다.
문제는 두 가지였습니다.
- PDF 주소가 목록에 없고, 버튼을 눌러야만 생깁니다.
- PDF의 모든 페이지가 스캔 이미지 한 장씩이라 텍스트가 없습니다. “사진용지”라는 글자를 검색할 수가 없습니다.
1단계: 버튼을 눌러서 PDF 주소 가로채기
목록 화면은 이미 Playwright(브라우저 자동화 도구)로 수집하고 있었습니다. 여기에 행마다 상세 화면에 들어가서 “감정평가서” 버튼을 누르는 동작을 추가했습니다. 버튼을 누르면 브라우저가 PDF를 요청하는데, 그 요청을 엿들어서 주소만 챙깁니다.
pdf_urls = []
page.on("request", lambda req: pdf_urls.append(req.url) if ".pdf" in req.url.lower() else None)
row.locator("text=상세").click()
page.locator("text=감정평가서").click()
page.wait_for_timeout(2000)
if pdf_urls:
pdf_bytes = requests.get(pdf_urls[-1], timeout=30).content
page.go_back() # 반드시 목록으로 복귀
PDF 자체는 브라우저로 볼 필요 없이 requests로 직접 받습니다. 공개 주소라 쿠키도 필요 없었습니다.
마지막 줄의 page.go_back()이 중요했습니다. 상세 화면은 같은 페이지 안에서 바뀌는 방식이라, 목록으로 돌아오지 않으면 기존의 페이지 넘기기 반복문이 엉뚱한 화면에서 다음 행을 찾다가 깨집니다.
2단계: 페이지 윗부분만 OCR로 읽기
PDF에서 페이지 이미지는 PyMuPDF로 꺼냅니다. 텍스트가 없으니 page.get_text()는 빈 문자열을 돌려줍니다. 그래서 Tesseract OCR(한국어 데이터 포함)로 글자를 읽기로 했습니다.
페이지 전체를 OCR하면 느리고, 본문 속 다른 글자들 때문에 오탐도 생깁니다. 사진용지 페이지는 맨 위에 제목이 있다는 점을 이용해서, 각 페이지의 위쪽 22%만 잘라서 읽었습니다.
import fitz, pytesseract
from PIL import Image
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
for page in doc:
pix = page.get_pixmap(dpi=150)
img = Image.frombytes("RGB", (pix.width, pix.height), pix.samples)
header = img.crop((0, 0, img.width, int(img.height * 0.22)))
text = pytesseract.image_to_string(header, lang="kor", config="--psm 6")
if "사진용지" in text.replace(" ", ""):
save_photo(img)
break
OCR 결과에는 글자 사이에 공백이 끼는 경우가 많아서 공백을 지우고 비교했습니다. --psm 6은 “하나의 균일한 텍스트 블록”으로 읽으라는 옵션인데, 제목 줄만 잘라낸 이미지에는 이게 잘 맞았습니다.
실제로 돌려보니
| 항목 | 결과 |
|---|---|
| 물건 하나당 소요 시간 | 약 10~15초 (대부분 상세 화면 진입과 PDF 대기) |
| 실패하는 경우 | 감정평가서 버튼이 없음, OCR이 제목을 못 읽음 등 |
| 실패 처리 | 예외를 삼키고 건너뜀. 사진은 부가 정보라 전체 수집을 멈추지 않음 |
| 중복 방지 | 사건번호 이름의 사진 파일이 이미 있으면 다시 작업하지 않음 |
물건 하나에 10초가 넘게 걸리니 전체 백로그 1만 8천여 건을 한 번에 처리할 수는 없었습니다. 그래서 3시간마다 도는 자동 수집 때마다 “사진 없는 물건”을 최대 150건씩만 처리하게 했습니다. 하루에 1,200건 정도씩 채워지고, 상대 사이트에 부담을 주지 않는 선에서 약 2주면 백로그가 해소되는 계산이었습니다.
정리
- 텍스트 없는 스캔 PDF에서 특정 페이지를 찾을 때는 페이지의 일부분만 OCR하면 빠르고 정확합니다.
- 버튼을 눌러야 생기는 파일은 브라우저 자동화로 요청 주소만 가로채고, 다운로드는 일반 HTTP로 합니다.
- 부가 기능의 실패가 핵심 수집을 멈추지 않게 예외를 격리합니다.
“복잡해서 나중에”라고 미뤘던 작업이었는데, OCR 설치는 5분이었고 실제 사이트에 몇 번 시험해 보니 길이 보였습니다. 복잡해 보이는 작업일수록 일단 작은 샘플 하나로 끝까지 가보는 게 계획을 세우는 것보다 빨랐습니다. 이렇게 뽑은 사진이 두 장씩 합쳐져 있던 문제는 이전 글에 정리했습니다.