@void poi aggiungo che volendo ogni istanza può in ogni momento scegliere di non avere i propri contenuti indicizzati dai motori o da terzi usando robots.txt o appositi comandi in <head> in cui si possono scegliere di non conservare in cache i contenuti del sito.
Gli spider o i software di scraping sono obbligati a seguire le indicazioni dell'admin.