Могут ли веб-сканеры найти вторичный файл robots.txt в подкаталоге?

Если robots.txt будет находиться в подкаталоге?

3 симпатии

Я видел этот тип случая очень редко и считал это ошибкой веб-сайта или неправильной настройкой robots.txt.

На сайте может быть только один robots.txt. файл. Этот. файл должен находиться в корне сайта, к которому он относится.

Правила формата и размещения:

  • Файл должен называться robots.txt
  • Ваш сайт может иметь только один файл robots.txt.
  • Файл robots.txt должен находиться в корне хоста веб-сайта.
2 симпатии