가상 면접 사례로 배우는 대규모 시스템 설계 기초 - 정리 9장 웹 크롤러 설계

가상 면접 사례로 배우는 대규모 시스템 설계 기초

9장 웹 크롤러 설계

웹 크롤러는 로봇 또는 스파이더라고도 부른다. 웹 페이지에서 시작하여 그 링크를 따라 나가면서 새로운 콘텐츠를 수집한다.

• 검색 엔진 인덱싱 : 크롤러의 가장 보편적인 용례로 웹 페이즈를 모아 검색엔진을 위한 로컬 인덱스를 만든다. 쿠글 검색엔진이 사용하는 웹 크롤러로 Googlebot이 있다.
• 웹 아카이빙 : 장기 보관 목적으로 웹에서 정보를 모으는 절차
• …

  개략적인 설계안 제시 및 동의 구하기

• 이 책에서 밝히는 개략적인 아키텍처 구조에 대해 설명한다