クローラーとは？

こんにちは、多摩の地域密着型ブログサービス「たまりば」編集部です。

みなさん、クローラーって知っていますか？

クローラーとは、世界中のWebページの情報を集めるソフトウェアのことです。

Webサイトの情報を検索エンジンに教えてくれる重要な役割を担っています。

クローラーがWebサイトの情報を検索エンジンに持って帰ってくれないと検索エンジンに表示されないので、Webサイトの運営をする上で必ず理解しておくべき存在です。

では、どのようにしてクローラーはWebサイトの情報を集めているのでしょうか？

それは、クローラーがウェブサイトのリンクを辿っていき、集めています。

世界中のウェブページはクモの巣状にリンクでお互いが繋がっており、
クローラーはそのクモの巣状に張り巡らされたリンクを飛び回ってWebサイトの情報を集めていきます。

ただ、一度クローラーがWebサイトを訪問してくれたからといって、そのWebサイトの全ての情報を検索エンジンまで持って帰ってくれるわけではありません。

したがって何度もクローラーに訪問してもらう必要があります。

しかし、クローラーに訪問してもらう頻度、どのWebサイトを訪問するのか、一回の訪問で取得される情報量は自動で決められているので、コントロールすることはできません。

クローラーは過去に訪問した時に取得したWebサイトのリストとサイトマップを手掛かりに巡回していくので、コンテンツのシェアなどの適切なリンクやサイトの構造を最適にすることによってクローラーに訪問してもらいやすくなります。