Опубликовано: 15 июн 2013 · Жалоба Что и где необходимо прописать, чтобы полностью запретить поисковикам и archive.org создавать и сохранять копии (кэш) веб-страниц? 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Опубликовано: 15 июн 2013 · Жалоба Смотри файл robots.txt 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Опубликовано: 15 июн 2013 · Жалоба Смотри файл robots.txtVlad, правильный robots.txt WordPress: User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag Host: домен Sitemap: ссылка Sitemap: ссылкаПо аналогии со вторым столбцом сделать необходимые мне Disallow с User-agent? 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Опубликовано: 16 июн 2013 · Жалоба Смотри файл robots.txt Vlad, правильный robots.txt WordPress: User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag Host: домен Sitemap: ссылка Sitemap: ссылка По аналогии со вторым столбцом сделать необходимые мне Disallow с User-agent? Vlad, что скажешь? 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Опубликовано: 16 июн 2013 · Жалоба User-agent: * уже говорит, что правило относится ко всем поисковикам 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Опубликовано: 16 июн 2013 · Жалоба User-agent: *уже говорит, что правило относится ко всем поисковикамAdmin, а что делать с archive.org? 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Опубликовано: 16 июн 2013 · Жалоба а что делать с archive.org? попробуй User-agent: ia_archiver Disallow: / 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Опубликовано: 17 июн 2013 · Жалоба а что делать с archive.org? попробуй User-agent: ia_archiver Disallow: / Юрий, сделаю. Благодарю. 0 Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
