一般情况下，大家都会积极做SEO优化，让搜索引擎来爬自己的网站，收录自己的网站。
　　但是我们有时候也会碰到需要屏蔽搜索引擎的情况，比如：

• 我们做了一个备份网站，里面数据和主网站类似，这样会影响到主网站的收录
• 我们的网站是测试环境，里面的内容不完善，提前收录会影响后续的收录
• 我们的网站里有隐私，不希望随便被分享出去
• 等等

　　那么这个时候我们怎么做呢？这边提供几种思路：

在网站根目录放置一个 robots.txt 文件，内容如下

User-agent: *
Disallow: /

另存为txt文本，名字改成 robots 就好了

在网页代码里添加 meta 标签来实现

拦截所有搜索引擎收录和索引网页

<meta name="robots" content="noindex,nofollow">

只拦截百度蜘蛛，而允许其他搜索引擎索引收录

<meta name="baiduspider" content="noindex,nofollow">

允许搜索引擎收录索引网页，但禁止继续追踪页面链接

<meta name="robots" content="nofollow">

允许搜索引擎收录索引网页，但禁止收录网页上的图片

<meta name="robots" content="noimageindex">

　　大家可以根据自己的需要将上面的代码加入到自己的网页 head 头部中，比如一些网站的登录后台。如果你的页面先前被收录了，那么下次搜索引擎再来的时候将会给你移除。

　　这边需要注意的是，这个文件和代码都要注意情况添加，不然你的整个网站都可能受到影响，导致了整个网站的无法收录。