Поисковики поисковиками, но туда реально попадают даже приватные урлы, которые высылают лично по почте. Например, такие ссылки по которым кликаешь, авторизуешься автоматом, и сервер делает редирект на страницу твоего аккаунта. Редирект! Эти урлы живут секунду, браузер перешел по нему, сервер мгновенно перенаправил на другую страницу. Вопрос - как они попадают поисковикам - тот еще вопрос. По идее поисковый робот должен индексировать опубликованные ссылки - вот тебе страница, вот ссылка на ней - изволь пропиздовать по этой ссылке, найти другие ссылки и так далее по цепи. Если ссылка запрещена в robots.txt - изволь обойти ее (что они и делают, ибо это ими официально заявлено). Яндексы/гуглы задрачивают разрабов и сеошников до красных глаз своими изысканными требованиями по оптимизации, вековой давности стандартом файла robots.txt, а в то-же время - оно вона чо михалыч. Наш тулбар или счетчик захавает все ссылки, которые ты не выложил в открытый доступ, и ниибет! Сам разрабатывал сайты, был момент когда надо было на хостинге сделать скрытый сайт для внутренней документации - ничего секретного, но и не для публики. Ссылки нигде не публиковались, но блядские роботы появились в логах буквально через неделю. Сошлись на том, что виноват тулбар в ИЕ у одной из сотрудниц. Яндекс с гуглом занимаются банальным пиздингом всего и вся в погоне за рейтингом и слоганом "найдется всё". И сваливать все на роботс.тхт - это не отмазка. Сам по себе этот файл доступ к информации не закрывает, это условность которая (негарантированно) соблюдается поисковиками.
yaplakal.com