[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。
〔Crawl-delay〕
検索エンジンのクローラーがひんぱんにアクセスしてきてサーバーに負荷がかかって困ったらrobots.txtにこう書いておくといい。
User-agent: ロボットの名前 Crawl-delay: 秒数
User-agentはロボットの名前。Crawl-delayはクロール間隔を秒で表している。5秒から120秒位がいいみたいですよ。