Ищи. Находи. Без лишнего.

Собственный робот индексирует открытые сайты, поддерживает sitemap и хранит исходные документы в S3.