クロール

ロポ ッ ト型 の検索エ ンジン では、世界中のWebサイトをクローラーというロポ ッ トが自動的に 巡回 し、Web サイ トを自動的に検索エンジ ンに登録する。この巡回のこと をクロールと呼び、クロールされた Webサイ トが検索エンジンに登録さ れることをインデックスと呼ぶ。
検索エンジ ンの検索結果ページにはインデ ックスされたWeb サイトが表示されるわけだが、裏を返せば、検索エ
ンジンにインデ ックスされなければ、 検索結果ページに Web サイトが表示されることは ない。要するに、そもそ
もクロールされなければ検素エンジ ンと検索結果ページWeb サイトを表示されることはありません。そこで、クロー ラー がどのように Webサイトをクロールするかをおさえておくことがポイントとなる。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です