14. 웹페이지의 본문과 이미지 속 글자를 함께 수집하기

14. 웹페이지의 본문과 이미지 속 글자를 함께 수집하기
claude code skills

복사한 본문에 필요한 내용이 없었습니다

강의를 준비하며 참고 자료를 모을 때였습니다. 프로그램의 방향과 구성을 보고 싶어서 소개 페이지를 열었습니다.

본문을 복사했습니다. 그런데 커리큘럼과 자세한 설명은 이미지 안에 있었습니다. 글을 가져왔다고 생각했는데 정작 비교할 내용이 빠져 있었습니다.

HFK의 교육 소개 자료를 참고할 때도 이런 문제가 있었습니다. 이미지를 따로 읽으려다 당시 사용하던 경로에서 용량 오류를 만났고, 본문 수집과 이미지의 글자 읽기를 연결하려 했습니다.

그때 만든 것이 web-crawler-ocr였습니다. 웹에 있는 자료를 다음 기획에서 다시 읽을 수 있게 남기는 것이 목적이었습니다.

당시 HFK 자료를 수집한 기록과 저장된 OCR 텍스트는 남아 있습니다. 다만 그때의 공개 페이지 주소는 지금 ‘페이지 없음’으로 응답해 열리지 않습니다. 지금 따라 할 수 있는 예제 페이지와는 구별해야 합니다.

웹 본문과 이미지 OCR은 다른 일입니다

페이지에 보이는 정보가 모두 같은 형태로 들어 있는 것은 아닙니다.

일반 본문은 페이지의 HTML에서 글을 추출할 수 있습니다. 하지만 포스터나 상세 이미지 안의 글자는 이미지 자체를 읽어야 합니다. 이것을 OCR이라고 합니다.

웹페이지
  ├─ 일반 본문 → 텍스트 추출
  └─ 이미지 속 설명 → 이미지 확인과 OCR
                         ↓
             출처와 위치를 함께 남겨 정리

예를 들어 프로그램 이름과 신청 안내는 본문에 있는데, 회차별 주제와 시간은 포스터에만 있을 수 있습니다. 본문만 요약하면 일정이 없는 프로그램처럼 보일 수도 있겠죠.

그래서 먼저 ‘이 페이지에서 무슨 정보가 필요한가’를 정해야 합니다. 내용을 대화에서 잠깐 확인하려는 것인지, 이미지의 설명까지 모아 비교 자료로 보관하려는 것인지도 다릅니다.

처음 구성과 지금 구성은 달라졌습니다

처음에는 Firecrawl과 Gemini OCR을 연결하는 방식으로 만들었습니다. 당시 기록에는 Firecrawl 호출에서 문제가 나 다른 방식으로 본문을 가져온 과정도 남아 있습니다.

지금 제가 정리한 v3 구성은 Firecrawl 의존을 빼고, 로컬 프로그램으로 페이지를 가져와 본문을 추출하는 쪽입니다. 필요한 경우 브라우저로 페이지를 열어 내용을 불러오는 방식도 사용합니다.

구간 현재 구성에서 하는 일
페이지 가져오기 HTTP 요청, 필요할 때 Scrapling·브라우저 방식 사용
본문 추출 trafilatura와 페이지의 구조화 정보로 내용 정리
이미지 확인 이미지 후보를 찾아 필요한 것을 내려받음
이미지 OCR Gemini API로 이미지를 보내 글자 추출
결과 저장 본문과 이미지별 내용을 출처와 함께 Markdown으로 정리

trafilatura는 HTML에서 주요 본문과 메타데이터를 추출하는 도구입니다. Playwright는 브라우저 페이지를 열고 다룰 때 사용합니다. 이름을 외우기보다 왜 페이지를 가져오는 부분과 내용을 고르는 부분이 나뉘는지 보면 됩니다.

처음 HTML에는 필요한 정보가 없고 화면을 더 불러와야 나타나는 페이지도 있습니다. 반대로 정보를 가져왔어도 메뉴와 광고가 본문처럼 섞일 수 있습니다. 페이지를 받는 것과 필요한 내용을 추리는 것도 다른 작업입니다.

로컬 수집이라고 전부 로컬 처리는 아닙니다

현재 구성에서 로컬이라는 말은 페이지를 가져오고 본문을 처리하는 구간을 가리킵니다. 이미지 OCR은 외부 Gemini API에 이미지를 보내는 방식입니다.

내 컴퓨터의 수집 프로그램
  → 웹페이지와 이미지 가져오기
  → 본문은 로컬에서 추출
  → OCR 대상 이미지는 Gemini API로 전송
  → 받은 텍스트를 결과에 연결

전체 자료가 컴퓨터 밖으로 나가지 않는다는 뜻으로 이해하면 안 됩니다. 어떤 자료가 어느 서비스로 전달되는지 구별해야 합니다. Gemini의 이미지 처리 안내

이 구성을 설명한다고 독자가 같은 개인 스크립트를 받아야 하는 것은 아닙니다. 필요한 정보를 정하고, 자기 환경에서 쓸 수 있는 수집·이미지 읽기 도구와 조건을 AI가 확인하게 할 수 있습니다.

지금은 URL만 주었다고 이 절차를 돌리지는 않습니다

제 현재 스킬의 사용 조건에는 저장·아카이빙·이미지 OCR 의도가 들어 있습니다. URL만 보고 대화에서 내용을 확인하는 일과, 여러 자료를 수집해 파일로 남기는 일을 구별한 겁니다.

저장할 자료가 필요하다면 이런 요청을 할 수 있습니다.

이 페이지를 다음 기획의 참고 자료로 남기고 싶어.
본문과 이미지 속 프로그램 설명을 함께 확인해줘.
무엇을 읽었고 무엇은 확인하지 못했는지 출처와 함께 남겨줘.
저장할 곳은 관련 업무를 보고 제안해줘.

실행할 도구와 접근 조건이 준비돼 있어야 합니다. 이미지 읽기에 필요한 연결이 없다면 그 부분부터 확인해야 하고요. 원하는 결과를 말하고, 구현과 위치 판단은 AI가 돕게 하는 방식입니다.

결과 파일이 생겼다고 다 읽은 것은 아닙니다

여기서 중요한 조건이 있습니다. 제가 구성한 도구에도 한 번에 OCR할 이미지 수의 기본 제한이 있습니다. 현재 기본값은 15개이고 조절할 수 있습니다. 이것은 제 구현의 기본 설정이지 모든 서비스의 공식 한도가 아닙니다.

이미지 다운로드가 실패하거나 OCR에서 오류가 날 수도 있습니다. 그 부분을 건너뛰고 결과가 저장되는 경우도 있습니다. OCR을 생략하는 선택도 있고요.

따라서 Markdown 파일이 생겼다는 것과 필요한 이미지와 글자를 빠짐없이 읽었다는 것은 다릅니다.

페이지 전체에 이미지가 몇 개 있었는지, 그중 무엇을 처리했는지, 건너뛴 이유는 무엇인지 봐야 합니다. 로고와 장식 이미지를 빼는 것이 좋을 때도 있지만, 중요한 설명 이미지를 장식으로 잘못 고르면 필요한 내용이 빠질 수 있습니다.

이미지 개수가 많다는 이유만으로 전부 읽게 하기보다, 이번 판단에 필요한 정보가 어디에 있는지 확인해야 합니다.

출처와 읽지 못한 부분을 함께 남깁니다

다음은 저장 결과의 역할을 설명하기 위해 새로 만든 가상 예시입니다. 실제 HFK 수집 산출물을 옮긴 것이 아닙니다.

# 프로그램 비교 참고 자료

## 출처와 범위
- 원문: 설명용 가상 페이지
- 확인 시각: 실제 수집할 때 기록
- 필요한 정보: 대상, 회차별 주제, 일정

## 본문에서 확인
- 대상은 실무 담당자라고 설명돼 있다.

## 이미지에서 읽은 내용
- 포스터 1: ‘11.7’이라는 날짜 표기가 보인다.
- 연도는 이 자료만으로 확인하지 못했다.

## 확인하지 못한 부분
- 포스터 2는 내려받지 못했다.

## 내 해석과 다음 확인
- 전체 회차와 연도를 확인한 뒤 일정 비교에 사용한다.

본문에서 얻은 것과 OCR로 얻은 것을 나눴습니다. ‘11.7’이라는 표기를 읽었다고 연도까지 확정하지 않았고, 내려받지 못한 이미지는 정보가 없다고 결론 내리지 않았습니다.

출처와 확인 시각이 있어야 나중에 페이지가 바뀌었을 때도 어떤 자료를 본 것인지 알 수 있습니다. 제 해석도 원문이 말한 사실과 구별해 남겨야 하고요.

중요한 값은 원래 화면과 대조합니다

OCR은 읽어온 글입니다. 숫자와 일정, 고유명사까지 항상 정확하다는 보장은 아닙니다.

기획에서 비교할 값이라면 원래 이미지와 대조하게 할 수 있습니다.

수집한 결과를 원문과 대조해줘.
본문과 이미지에서 필요한 항목을 어디까지 읽었는지 확인하고,
일정·가격·이름처럼 판단에 쓰는 값은 원래 위치를 함께 보여줘.
이미지를 못 읽었거나 일부만 처리한 곳은 따로 알려줘.

AI가 원자료와 결과를 함께 보고 빠진 부분과 불확실한 값을 정리하게 합니다. 저는 그 근거와 아직 결정할 수 없는 부분을 봅니다. 원문에 접근할 수 없는 상태라면 그 한계도 남겨야 합니다.

로그인이 필요하거나 화면을 더 불러와야 하는 페이지도 조건이 다릅니다. 모든 사이트가 같은 방식으로 열리거나 반드시 읽히는 것은 아닙니다. 실패했는데 내용이 없었다고 바꾸거나, OCR이 못 읽은 부분을 그럴듯하게 채우면 안 됩니다.

수집은 다음 판단을 위한 재료입니다

이 작업의 목적은 웹페이지를 많이 저장하는 것이 아니었습니다. 강의를 준비할 때 다른 프로그램의 구성과 설명 방식을 보고, 제 기획에서는 무엇을 다르게 할지 생각하려는 것이었습니다.

자료가 모이면 어떤 기준으로 비교할지 다시 이야기합니다. 어디서 가져온 사실이고, 어디부터 제 판단인지 구별하면서요.

당시에는 본문만 가져와서는 부족하다는 문제에서 시작했습니다. 지금도 중요한 것은 도구 이름이나 속도보다 다음 일에 필요한 내용을 실제로 읽었고, 확인할 수 있게 남겼는가입니다.

전체 읽기 안내에서 필요한 흐름을 고를 수 있습니다. 글로 옮겨진 녹음 자료를 다루려면 19편 전사 정리, 여러 자료를 모아 제안으로 이어가려면 22편 프로젝트 분해와 통합을 함께 보시면 됩니다. 웹 수집은 그 과정에 필요할 때 선택하는 응용입니다.

Subscribe to 비개발자를 위한 Claude Code | 일을 잘하기 위한 AI Workspace

Don’t miss out on the latest issues. Sign up now to get access to the library of members-only issues.
[email protected]
Subscribe