정의
검색 엔진 최적화 (SEO)의 맥락에서 크롤링은 검색 엔진이 자동 소프트웨어 에이전트인 크롤러, 스파이더 또는 봇을 사용하여 월드 와이드 웹을 체계적으로 탐색하여 웹 사이트에서 정보를 수집하는 과정을 의미합니다. 이 과정은 검색 엔진 인덱스의 작성 및 업데이트에 근본적이며, 그 다음 사용자에게 검색 쿼리에 기반한 관련 결과를 제공하기 위해 사용됩니다.
개요
크롤러는 새로운 웹페이지를 발견하고 이전에 인덱싱된 페이지의 정보를 업데이트하는 작업을 맡고 있습니다. 그들은 알려진 페이지에서 새로운 페이지를 발견하기 위해 링크를 따라갑니다. 이 링크 추종 과정은 계속되며, 크롤러는 새로운 콘텐츠를 발견하고 인덱싱될 페이지 목록에 추가할 수 있게 됩니다. 크롤링의 빈도와 깊이는 사이트의 구조, 사이트맵의 존재, robots.txt 파일, 콘텐츠의 신선도, 페이지 로드 시간 및 인바운드 링크의 수와 품질 등 여러 요소에 의해 영향을 받을 수 있습니다.
크롤링 작동 방식
-
시작점: 크롤러는 이전 크롤 프로세스에서 생성된 웹페이지 URL 목록과 웹마스터가 제공한 사이트맵 데이터를 출발점으로 합니다.
-
링크 추적: 크롤러가 이러한 웹페이지를 방문하는 동안, 그들은 해당 페이지의 링크를 사용하여 다른 페이지를 찾습니다. 이 링크 추적 과정은 계속하여 크롤러가 새로운 콘텐츠를 찾고 인덱싱될 페이지 목록에 추가할 수 있게 합니다.
-
콘텐츠 분석: 크롤러가 페이지를 방문하면, 그것은 브라우저가 하는 것처럼 페이지의 콘텐츠를 해석합니다. 그러나, 콘텐츠를 표시하는 대신 크롤러는 구조, 콘텐츠 및 키워드, 이미지 및 기타 미디어와 같은 다른 중요한 요소를 이해하기 위해 분석합니다.
-
인덱싱: 크롤링 중 수집한 정보는 처리되어 인덱싱됩니다. 검색 엔진의 품질과 관련성 기준을 충족하는 페이지가 검색 엔진의 인덱스에 포함됩니다.
-
정책과 규약: 크롤링은 로봇.txt 파일과 메타 태그로 웹 사이트 소유자에 의해 설정된 정책에 의해 관리됩니다. 이러한 정책은 크롤러의 웹 사이트의 특정 영역에 대한 액세스를 제한하거나 허용할 수 있습니다.
SEO에서의 중요성
크롤링은 웹 사이트의 콘텐츠가 검색 엔진 결과에 색인화되고 랭킹이 될 수 있는지 여부를 결정하기 때문에 SEO의 중요한 구성 요소입니다. SEO 전문가들은 종종 웹 사이트를 크롤러에 친화적으로 최적화하기 위해 다음을 수행합니다:
- 사이트 구조와 탐색을 개선하여 크롤러가 콘텐츠에 효율적으로 액세스하고 색인화할 수 있도록 함
- 모든 중요한 페이지를 나열하기 위해 사이트맵을 사용하여 크롤러가 놓치지 않도록 함
- 로봇.txt 파일을 최적화하여 크롤러가 색인화하려는 콘텐츠로 안내하고 관련없거나 민감한 영역에 액세스하지 못하게 함
- 컨텐츠가 크롤러가 구문 분석 할 수 없는 로그인 폼, 유료 구독, 미디어 형식으로 숨겨지지 않도록 보장함
- 크롤러가 너무 오래로드하는 페이지를 포기할 수 있으므로 페이지 로드 시간을 단축함
- URL이 변경되는 경우에도 컨텐츠의 가치를 유지하기 위한 적절한 리디렉션 전략을 구현함
도전과 고려사항
-
크롤 예산: 검색 엔진은 크롤링 예산이라고도 하는 웹 사이트를 크롤링하기 위해 일정한 자원을 할당합니다. 수천 개의 페이지를 가진 대형 웹 사이트는 가장 중요한 콘텐츠가 이 예산 내에서 크롤되고 인덱싱되도록 사이트 구조를 최적화해야 합니다.
-
중복 콘텐츠: 크롤러는 중복 콘텐츠를 마주칠 수 있습니다. 중복 콘텐츠는 콘텐츠의 가치를 희석시키고 색인화 문제를 야기할 수 있습니다. SEO는 캐노니컬 태그 및 기타 기법을 사용하여 중복 콘텐츠를 관리하는 것을 포함합니다.
-
동적 콘텐츠: AJAX 또는 JavaScript와 같은 동적 콘텐츠를 가진 웹 사이트는 크롤러에 대한 도전을 제공할 수 있습니다. SEO 최적화 방법론은 크롤러가 분석할 수 있는 대체 콘텐츠를 제공하거나 동적 요소가 크롤러에게 액세스할 수 있도록 하는 것을 권장합니다.
-
모바일 우선 인덱싱: 모바일 우선 인덱싱의 도입으로 크롤러는 인덱싱 및 랭킹을 위해 사이트의 모바일 버전을 우선적으로 처리합니다. 웹 사이트가 모바일 친화적인 디자인을 가지고 있고 데스크톱 및 모바일 버전 사이에 콘텐츠 동등성을 유지하는 것이 중요합니다.
결론
크롤링은 웹 콘텐츠가 검색 엔진 사용자에게 제공되는 과정에서의 첫 번째 단계입니다. 크롤링 작동 방식과 웹 사이트를 크롤러에 대해 최적화하는 방법에 대한 깊은 이해는 검색 엔진 결과에서 웹 사이트의 가시성과 랭킹을 개선하고자 하는 SEO 전문가들에게 필수적입니다.
