検索エンジンロボットは自動化されたソフトウェアエージェント（スパイダーまたはクローラーとも呼ばれます）で、World Wide Webを自動的にクロールして情報を取得します。
Alibaba Cloud DNSを使用すると、検索エンジンのロボットが特定のIPアドレスからWebサイトのインデックスを作成できるように、DNSレコードを追加できます。
シナリオ
検索エンジンロボットラインを使用するAlibaba Cloud DNSレコードは、次のシナリオに適用できます。
エンタープライズに複数のサーバーがあり、さまざまな検索エンジンのクローラーによって1つのサーバーをクロールするように指定したい場合。検索エンジンのロボットラインを使用すると、Webクローラが使用するクロールパスを効果的に制御できます。この方法では、ウェブサイトの帯域幅占有、トラフィックリソースの消費、ウェブサイトのアクセス速度の低下などの検索エンジンロボットの問題を解決できます。
検索エンジンのインデックス付けや重み付けに影響を与えずにWebサイトを中断したいデフォルトの行を検索エンジンのロボットに変更することができます。
検索エンジンのロボットラインを使用する
レコードを追加するときに、検索エンジンロボットにISP回線を指定することができます。利用可能な検索エンジンロボットには、Googleロボット、Baiduロボット、Bingロボットがあります。
Googleロボット：ISP回線として指定された場合、Googleクローラはこのレコードで指定されたアドレスに転送されます。他の検索エンジンのクローラは、デフォルトの行にリダイレクトされます。
Baiduロボット：ISP回線として指定された場合、Baiduクローラはこのレコードで指定されたアドレスに転送されます。他の検索エンジンのクローラは、デフォルトの行にリダイレクトされます。
Bingロボット：ISP回線として指定された場合、Bingクローラはこのレコードで指定されたアドレスに転送されます。他の検索エンジンのクローラは、デフォルトの行にリダイレクトされます。
例
ドメイン名に次のAレコードを追加します。
| レコード | ホスト | ISP回線 | 値 |
|---|---|---|---|
| 1 | www | Search Engine Robots | 1.1.1.1 |
| 2 | www | 2.2.2.2 |
これにより、
- Googleクローラはインデックス作成のために
2.2.2.2にリダイレクトされます。 - BaiduとBingのクローラは、インデックス作成のために
1.1.1.1にリダイレクトされます。 - Google、Baidu、Bing以外の検索エンジンのクローラはインデックス作成のためにデフォルトの行にリダイレクトされます。