Googleは、検索エンジンの内部動作について、昔は少し秘密にしすぎていました。
しかし、今では Googleは社内向けに作られていたロボット対策の情報を公開しました。それは、Googleスタータ ガイドというPDFです。まずは、こちらにのっているSEOの内部対策をするのがよいでしょう。SEOスパムなどの問題で GoogleはSEOを敵視しているという印 象があるかもしれませんが、 GoogleもよいSEOについては、問題視していません。SEOはGoogle の晶質を上げるためにも無視 できないことで、基本はきちんと押さえよう、という意思表示かと思います。