前のページ

僕はこの方法を使っています。条件がととのっていれば、METAタグとくらべるとはるかに簡単で手間もかかりません。

robots.txtを使う

サイトのルートに簡単なテキストファイルをおくことでロボットに指示する方法です。ごくあたり前なテキストファイルを以下の内容で作ります。

User-agent: *
Disallow: /ディレクトリ/
Disallow: /ディレクトリ/サブディレクトリ/

Disallow:
ルートからのパスを指定します。
User-agent:
サーチエンジンのエージェント名を入れます。 「*」はすべてです。Googleだけに指示するのなら「googlebot」と書きます。

入力が終わったら「robots.txt」とファイル名をつけて、サーバーのルートにアップロードします。これで次の巡回時に指示が実行されます。が、これだと次の巡回はいつになるやらさっぱりなので、すでに登録されてしまったページを削除する場合にはrobots.txtを設置してからRemove URLで削除の依頼をするとよいです。

プロバイダのWebスペースの場合

このrobots.txtはサイトのルートにおかなければならないので、プロバイダの自分のディレクトリにrobots.txtファイルを置いてもロボットの巡回を防ぐのには効果がありません。

なのですが、Remove URLではrobots.txtの場所を指定できるので、robots.txtにルートからのパスを書いてやればURLとキャッシュの一時的な削除が可能です。

＜僕がSo-netのページを削除した時のrobots.txt＞

User-agent: *
Disallow: /pa2/kukitya/

というように書きました。サイトのルートは
http://www08.u-page.so-net.ne.jp/
なのでここからのパスをrobots.txtには指定します。
ファイルをアップロードするのは
http://www08.u-page.so-net.ne.jp/pa2/kukitya/
の僕のディレクトリなので、robots.txtのURLは
http://www08.u-page.so-net.ne.jp/
pa2/kukitya/robots.txt
になります。
Remove URLでこのURLを指示して上記の内容のrobots.txtを読ませるとURLとキャッシュの削除を受付けてくれます。

一時的なものなので数カ月後にはまた登録されてしまいます。次の巡回までにページの削除や修正、METAタグの追加などの対策をします。

前のページ（2/3）次のページ