Los bots de Google no recogerán ninguna información que no esté ya publicada así que es alarmista hablar de hackeo y demás, no tiene nada que ver. En respuesta a tu pregunta,
<p>http://www.robotstxt.org/meta.html
<br />http://www.robotstxt.org/faq/prevent.html
<p>En la misma página www.robotstxt.org puedes encontrar más información que te puede interesar.