Google モバイルウェブクローラー

WAP

Google モバイルウェブクローラー - Kimura.Memoに書いたGoogleモバイルウェブクローラの判別方法ですが、Googlebot - Search Console Helpを見るとIPアドレスではなく、逆引きホストのドメインで判断した方が良さそうです。

これは、Google Japan Blog: Google モバイル検索についてのウェブマスター向け情報に書いてあるIPアドレスの範囲に収まらないGoogleモバイルボットが存在するためです。

USER_AGENT SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
REMOTE_ADDR 66.249.69.111
REMOTE_HOST crawl-66-249-69-111.googlebot.com


Google Japan Blog: Google モバイル検索についてのウェブマスター向け情報

  • IPアドレス帯域が以下のいずれか
    • 72.14.199.0/25
    • 209.85.238.0/25
  • ユーザーエージェントに、"Googlebot-Mobile"が含まれる

Googlebot - Search Console Help

You can verify that a bot accessing your server really is Googlebot by using a reverse DNS lookup, verifying that the name is in the googlebot.com domain, and then doing a forward DNS lookup using that googlebot name.
（訳：本当にGoogleボットであるどうか判断するには、DNS逆引きがgooglebot.comドメインになり、さらにその結果を正引きして元のIPアドレスになることを確認すればよい）

と言うことで、自分勝手にまとめると

  • ユーザーエージェントに、"Googlebot-Mobile"が含まれる
  • 逆引きがgooglebot.comになり、その正引きが元のIPアドレスになる

ものがGoogleボットであると判断することにする