はじめに
WordPressサイトを運営する上で、robots.txtファイルは検索エンジンのロボットに対して重要な指示を出すためのもので、SEOにとって欠かせない要素です。この記事では、WordPress環境下でのrobots.txt設定について詳しく解説します。
症状・背景
- サイトの特定ページやフォルダを検索エンジンから非表示にしたい場合
- 検索エンジンへのクロール速度制限を設けたい場合
- テスト中や開発中のサイト情報を保護したい場合
- WP-CLIなどを用いて自動的にrobots.txtを作成・更新したい場合
手順・設定方法
ステップ1: WordPressルートディレクトリにrobots.txtファイルを手動で作成する
# ログインユーザーとしてサーバーにSSH接続します。
ssh username@yourdomain.com
# WordPressのルートディレクトリへ移動します。
cd /path/to/wordpress
# robots.txtファイルを作成し、編集モードを開きます。
nano robots.txtステップ2: ベーシックなrobots.txt設定を追加する
# 以下は基本的なrobots.txtの構造です。適宜、カスタマイズを行ってください。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://yourdomain.com/sitemap.xmlステップ3: WP-CLIを使用して自動生成や更新を行う
# WP-CLIをインストール済みで、WordPressディレクトリに移動していることを確認します。
wp plugin install wp-cli-sitemap --activate
# サイトマップとrobots.txtの生成を行います。
wp sitemap generate
# 作成したsitemap.xmlファイルが存在することを確認します。
ls -la /path/to/wordpress/sitemaps/
# robots.txtファイルに更新内容を反映させます。
nano /path/to/wordpress/robots.txtステップ4: 設定の効果をテストする
# Google Search Consoleや、Robots.txt Testerなどのツールを使用して設定が適切に行われているか確認します。
curl -I http://yourdomain.com/robots.txt | grep "Content-Type"注意事項
- robots.txtファイルを作成・編集する際は、バックアップを取ることを忘れないでください。
- 設定内容によってはサイトの検索エンジンからの表示が制限される可能性があるため、慎重に設定を行いましょう。
- ファイル名やディレクトリのパスに誤りがないことを確認し、適切なパーミッションを設定してください。
- セキュリティ上、重要なファイルやフォルダは明示的に非表示にすることが推奨されます。
まとめ
1. 基本的な構造: User-agentとDisallow, Allowの規則でサイトへのアクセス制御を行います。
2. WP-CLI利用: プラグインを活用して自動化を行い、手動での更新作業を軽減します。
3. テストツール: Google Search ConsoleやRobots.txt Testerを使用し、設定内容の確認を行いましょう。
4. バックアップとセキュリティ: 定期的なバックアップの取り方とファイルへの適切なアクセス権限管理が重要です。
5. カスタマイズと最適化: サイトの特定状況に応じて、robots.txtをカスタマイズしてSEOやパフォーマンスを向上させます。
関連記事: