1、查看google爬虫对你网站的那部分有爬取问题2、生成提交XML的网站地图3、分析robot.txt文件4、移除你不想让爬虫爬去的部分内容,比如某个根目录文件夹涉及到商业机密,可以请求爬虫不要记录5、如果你有几个域名关联同一个网站,你能够用来确定想用的域名6、对title和meta信息的分析7、了解到达网站的最主要搜索词是什么,可以用来修改页面突出重点8、接受google的警告信,并修改后重新提交申请
1、查看google爬虫对你网站的那部分有爬取问题2、生成提交XML的网站地图3、分析robot.txt文件4、移除你不想让爬虫爬去的部分内容,比如某个根目录文件夹涉及到商业机密,可以请求爬虫不要记录5、如果你有几个域名关联同一个网站,你能够用来确定想用的域名6、对title和meta信息的分析7、了解到达网站的最主要搜索词是什么,可以用来修改页面突出重点8、接受google的警告信,并修改后重新提交申请
有点道理
果然内涵。。。