张国平seo怎样（张国平seo博客）

百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源

百度爬虫能识别css和js里的内容，而且一般查看服务器日志里，都会有对js、css以及图片的抓取，不用担心浪费爬虫资源，一般来说百度都会派出一些爬虫去抓取样式表script等，主要是为了确保快照的正常展示，我自己也尝试过屏蔽，对百度快照的影响比较大。

如果你确实不想让百度蜘蛛抓取js和css，可以通过robots.txt进行屏蔽。

【答案】：不会，他都会一个不漏给你提出来，但会把JS、CSS这样的链接给过滤掉。但请注意，全部抓取过来之后会进行筛选，并不是所有都会建库。

如果真的不希望百度蜘蛛抓取js和css，可以通过robots.txt屏蔽，在网站根目录新建一个robots.txt，内容为（如果禁止所有搜索引擎抓取js和css文件，将下面的User-agent： baiduspider改为User-agent： *）：用户代理：baiduspider 不允许：/*。js 不允许：/*。