独立站Neo
14 阅读
浏览器会泄露你的网址信息
上周，写了一篇关于谷歌浏览器会泄露网址，导致的收录问题的文章
其实用微软的Edge浏览器，照样会泄露网址，看早两天上线的网站的爬虫截图：
用Edge浏览器建站，上内容的。
网站刚上线，甚至没上线，就有bingbot蜘蛛过来了。
我既没在谷歌提交地图，也没在bing提交地图，更没发外链。
这就导致binigbot 过来爬取的时候，会有404和301,302
因为网站还没建好嘛。没上线的时候，他就记录了这些网址了，谷歌就没有任何不正常的状态码，因为谷歌确实是网站上线后过来采集的。
所以，网站在上上线前，设置好robots.txt 禁止任何爬虫 爬取，还是比较重要的。
精彩文章
有任何问题和想交流的地方，可以加我微信
一起打造高效可落地的SEO