织梦CMS - 轻松建站从此开始!

红色建站_网站网页制作设计

当前位置: 首页 > SEO技术 >

如何制作网站地图并规范robots协议内容

时间:2021-01-10 09:44来源:xiaoboy.cn 作者:小男孩伪原创 点击:
网站地图的制作在seo优化中也是占据很重要一部分的,网站地图制作好了可以更加有利于蜘蛛对我们网站信息的检索与抓取,他会对网页信息进行方向引导,给搜索引擎蜘蛛的爬行提供

网站地图的制作在搜索引擎优化中也占有非常重要的地位。网站地图做好之后,蜘蛛检索抓取我们的网站信息会更有好处。他会引导网页信息的方向,为搜索引擎蜘蛛提供爬行的路径,快速准确地爬行网站内容。


我们可以使用小爬虫工具和爱站工具来生成网站地图。首先我们打开爱站工具包,选择网站地图,然后选择左边的添加网站,输入网站地址后选择xml选项,勾选上面的所有文件选项,然后点击scratch,然后生成xml文件,最后将生成的网站地图后缀html、xml、txt上传到网站后台的根目录。这样,只要一个用户进入,就会被抓取。


什么是机器人协议?怎么写?机器人协议是搜索引擎蜘蛛的规定。我们用这个文件来限制搜索引擎的抓取范围,尊重信息提供者的意愿,维护他们的隐私权,保护我们的隐私不被搜索引擎抓取。这有我们自己的编辑规则。


编辑机器人协议有三个标签:1 .用户代理:蜘蛛名称(这里每个用户代理指定搜索引擎的蜘蛛名称);2.不允许:内容名称(表示禁止爬网的内容);3.允许:内容名称(表示允许爬网的内容)。这些标签后面写的是协议的内容,编辑使用三个通配符:“*”表示覆盖所有搜索引擎;“$”表示以字符串结尾;“/”表示当前目录中的所有内容。编辑好协议内容后,可以在最后添加“Sitemap:网站域名/sitemap.xml”,利用地图让蜘蛛更快到达我们的网站。


SEO的日常工作细致,所以需要关注我们网站的日志。从网站后台空找到文件管理,然后打开日志文件,将最新的日志文件加载到桌面,然后用Lightyear Log Analysis System等工具进行分析。可以看到蜘蛛爬行记录和一些问题,需要及时检查解决。

(责任编辑:admin)
织梦二维码生成器
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
发布者资料
天涯 查看详细资料 发送留言 加为好友 用户等级:注册会员 注册时间:2010-04-07 14:04 最后登录:2010-04-07 14:04
栏目列表
推荐内容