コンテンツ
グーグル、ヤフー、ビングなどのインターネット検索者は、他のウェブサイトのリンクとサイトマップを使って情報を見つけます。これらの検索エンジンは最もあいまいな情報のいくつかを見つけてそれらをあなたのインデックスに含めることができます、そしてこのタイプの検索技術はユーザーにとって利点と欠点があります。
内部ネットワークページ
内部ネットワークページは、ユーザーが見るのに多数のクリックが必要なWebサイト上のページです。これらのページは、検索エンジンでは通常追跡できない製品、コンテンツ、または検索データベースです。検索エンジンのクロールを防ぐこの種のテクノロジの利点は、Webサイトの所有者が検索エンジンのインデックスに商品、購入、情報、その他の重要なリンクを含めることができることです。これにより、Webサイトの所有者はインターネット上でより多くの視認性を得ることができます。
個人情報
クロールする検索エンジンの1つの欠点は、プライバシーに関係なく個人情報にインデックスが付けられることです。セキュリティ番号、財務データ、地理的な場所などの情報は、個人のWebサイトに掲載されている場合でもインデックスに登録できます。 「robots.txt」というファイルを使用して、検索者はインデックス情報をブロックすることができます。たとえば、Googleなどの検索エンジンでは、サイトの所有者が有害な情報を削除した後に、そのインデックスから削除されたURLを削除できます。
自動化
Webサイトの所有者は、他のWebサイトまたは自分のサイトにリンクを残すことで、自分のページにインデックスを付けることができます。この方法は「バックリンク」と呼ばれます。この機能を利用するWebサイトは検索エンジンによって自動的に追跡され、検索エンジンはWebサイトをマッピングしてインデックスを作成できます。彼らは検索エンジンにドメイン名を提出する必要がないので、これはウェブサイト所有者の状況を緩和します。索引の自動化により、インターネットの読者は検索しやすくなります。
