一个SEO搜索引擎蜘蛛抓取日志函数

获取搜索引擎抓取状态函数:

function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';//谷歌
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';//微软
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';//雅虎
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';//百度
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';//搜狐
}
if (strpos($useragent, 'yodaoBot') !== false){
return 'YodaoBot';//网易有道
}
if (strpos($useragent, 'sosospider') !== false){
return 'Sosospider';//搜搜
}
if (strpos($useragent, 'sogou web spider') !== false){
return 'Sogou web spider';//搜狗
}
if (strpos($useragent, '360spider') !== false){
return '360spider';//360搜索
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}

通过调用上面函数,判断某一时间抓取了,则记录,一般直接生成文件即可,大网站需分析日志可存到关系型数据库中,另外如果想实时知道抓取日志,可以调用phpmailer类,只要有抓取则自动给自己发邮件,具体代码自己写去吧。
另外获取抓取状态可以通过addslashes($_SERVER[‘HTTP_REFERER’].$_SERVER[‘PHP_SELF’]);常量去记录。