Далее задача закрыть от индексации все служебные документы, документы бесполезные для поиска и дубли других страниц.