크롤 예산 뜻과 카페 색인 속도, 글 수보다 주기가 중요한 이유

글을 열심히 올리는데 어떤 글은 하루 만에 검색에 잡히고, 어떤 글은 일주일이 지나도 조용하다. 이 차이를 설명하는 개념이 크롤 예산이다.

크롤 예산이란

검색 로봇이 특정 사이트나 카페를 일정 기간에 얼마나 돌아볼지 정해둔 할당량을 말한다. 로봇의 자원은 무한하지 않기 때문에 신뢰가 쌓인 곳에는 자주 오고, 그렇지 않은 곳에는 드물게 온다.

카페에서는 이렇게 나타난다

• 개설 초기 카페: 새 글이 검색에 뜨기까지 며칠
• 활동이 꾸준한 카페: 몇 시간 안에 반영
• 오래 방치된 카페: 다시 글을 올려도 반영이 느림

예시

하루 10개를 몰아 올리는 카페와 매일 2개씩 꾸준히 올리는 카페가 있다면, 후자가 총량이 적어도 색인은 더 빠른 경우가 많다. 로봇이 방문 주기를 짧게 잡아두기 때문이다.

예산을 늘리는 방법

발행 주기를 일정하게 유지하고, 중복되거나 빈약한 글을 줄이고, 게시판 구조를 단순하게 정리한다. 로봇이 헛걸음하는 페이지가 적을수록 남은 예산이 새 글에 쓰인다. CafeMaking의 예약 발행으로 주기를 고정해두는 것도 같은 목적이다.

마치며

색인이 느린 건 글이 나빠서가 아니라 방문 주기가 아직 짧아지지 않아서일 수 있다. 꾸준함이 곧 예산이다.