Охотник на зелёных

То что robots.txt важный файл знают или догадываются многие.
Но вот Neil Patel в своей заметке описал манипуляции с этим файлом о которых я раньше не думал. Он предлагает тщательным образом отобрать (в частности в своих блогах) страницы, которые содержат дублирующий контент или содержат недостаточно контента (служебные страницы Login или Password Remind, например) и исключить их из индексации в файле роботс. Также, он предлагает там же отключить индексацию фидов (рсс-лент) на каждый пост (комментариев). Не знаю, насколько это эффективно, но Нейл пишет об увеличении траффика после таких манипуляций на 11%.

источник: blogstalks.com

Рекомендую почитать

| |