Запретить индексировать весь сайт

Запретить индексировать сайт можно через файл robots.txt.

User-agent: *
Disallow: /

Рекомендуется закрывать тестовые копии сайтов от индексации (например копию сайта, с которой работают разработчики), иначе в поисковой системе могут открываться страницы для тестового сайта, а не рабочего.