FAST01

가상 면접 사례로 배우는 대규모 시스템 설계 기초 - 정리 9장 웹 크롤러 설계

6 min read

가상 면접 사례로 배우는 대규모 시스템 설계 기초 - 정리 9장 웹 크롤러 설계

요약

가상 면접 사례로 배우는 대규모 시스템 설계 기초 리뷰

아키텍처 개념을 실제 설계 판단에 연결하기 위한 참고 노트입니다.

핵심 포인트

  • 가상 면접 사례로 배우는 대규모 시스템 설계 기초 리뷰
  • 가상 면접 사례로 배우는 대규모 시스템 설계 기초
  • 9장 웹 크롤러 설계
  • 개략적인 설계안 제시 및 동의 구하기

지식 그래프

정리 내용

가상 면접 사례로 배우는 대규모 시스템 설계 기초

학습 목적으로 정리한 내용으로 문제가 있다면 내리겠습니다.

(이 책은 한국어판 저작권은 에이전시 원을 통해 저작권자와의 독점 계약으로 인사이트에 있습니다. 저작권법에 의해 한국 내에서 보호를 받는 저작물이므로 무단전재와 무단 복제를 금합니다.)

9장 웹 크롤러 설계

웹 크롤러는 로봇 또는 스파이더라고도 부른다. 웹 페이지에서 시작하여 그 링크를 따라 나가면서 새로운 콘텐츠를 수집한다.

  • 검색 엔진 인덱싱 : 크롤러의 가장 보편적인 용례로 웹 페이즈를 모아 검색엔진을 위한 로컬 인덱스를 만든다. 쿠글 검색엔진이 사용하는 웹 크롤러로 Googlebot이 있다.
  • 웹 아카이빙 : 장기 보관 목적으로 웹에서 정보를 모으는 절차
  • …

개략적인 설계안 제시 및 동의 구하기

  • 이 책에서 밝히는 개략적인 아키텍처 구조에 대해 설명한다
    • 시작 URL 집합 : 웹 크롤러가 크롤링을 시작하는 시작점으로 크롤러가 가능한 많은 링크를 탐색할 수 있도록 하는 URL을 고르는 것이 바람직하다.
    • 미수집 URL 저장소 다운로드 할 URL 그리고 다운로드 된 URL 두 가지 상태로 나눠 관리한다. 다운로드 할 URL을 미수집 URL 저장소로 FIFO 형태의 큐 저장소이다.
    • HTML 다운로더는 웹 페이지를 다운로드하는 컴포넌트이다. 다운로드 할 페이지는 미수집 URL 저장소에서 가져온다.
    • 도메인 이름 변환기는 웹 페이지를 다운받기 위해선 URL을 IP주소로 변환하는 작업이 필요하다. URL → IP로 변환하는 컴포넌트이다.
    • 콘텐츠 파서는 웹 페이지를 다운로드 하면 파싱과 검증 절차를 거쳐야한다.
    • URL 필터는 특정 콘텐츠의 타입이나 확장자를 가지는 URL을 필터링하는 컴포넌트이다. 접속 시 오류가 발생하는 URL 접근 제외 목록에 포함된 URL을 크롤링 대상에서 제외하는 역할이다.
    • 이미 방문한 URL 을 미수집 URL 저장소에 보관된 URL을 추적할 수 있는 자료 구조를 사용할 것이다. 볼륨 필터나 해시 테이블이 널리 사용된다.
    • URL 저장소 이미 방문한 url을 보관하는 저장소이다.

학습 목적으로 정리한 내용으로 문제가 있다면 내리겠습니다.

(이 책은 한국어판 저작권은 에이전시 원을 통해 저작권자와의 독점 계약으로 인사이트에 있습니다. 저작권법에 의해 한국 내에서 보호를 받는 저작물이므로 무단전재와 무단 복제를 금합니다.)

출처

그래프 뷰