国产综合精品蜜芽|国偷自产一区二区视频|性做久久久久免费观看|亚洲欧洲国产综合另类国码|亚洲中文字幕1区2区3区|国产成人欧美综合在线影院|无码久久久久久中文字幕视频|国产精品高清一区二区三区久久

不讓搜索引擎收錄的方法


發(fā)布日期:2014-11-12

 

 

很多朋友都會問沈陽網(wǎng)站建設如何被搜索引擎收錄?我的網(wǎng)站為什么還沒有被收錄?等等這樣的話題,我們也寫過很多關于這樣的文章,其實還有很多朋友他們還有這樣的困擾,比如我的有些東西不想被搜索引擎收錄我該怎么辦呢?今天我們就來和大家聊聊不讓搜索引擎收錄的方法。

搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。                
 
在這里沈陽網(wǎng)站建設提醒您請注意,僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內容,請勿建立robots.txt文件。            

那么問題來了robots.txt文件因該放在哪里呢? robots.txt文件應該放置在網(wǎng)站根目錄下。舉例來說,當spider訪問一個網(wǎng)站(比如 http://www.hottubsofconnecticut.com)時,首先會檢查該網(wǎng)站中是否存在http://www.hottubsofconnecticut.com/robots.txt這個文件,如果 Spider找到這個文件,它就會根據(jù)這個文件的內容,來確定它訪問權限的范圍。

如您還有網(wǎng)站方面的疑問歡迎您來訪我們沈陽網(wǎng)站建設

平顺县| 科技| 米泉市| 将乐县| 双江| 扎赉特旗| 甘泉县| 北辰区| 墨竹工卡县| 上杭县| 渑池县| 曲靖市| 广汉市| 博爱县| 廉江市| 长阳| 石林| 郓城县| 呼伦贝尔市| 福建省| 宝应县| 沂南县| 永仁县| 金乡县| 海南省| 新巴尔虎右旗| 太白县| 红桥区| 柏乡县| 罗源县| 正安县| 深水埗区| 禄劝| 阿拉尔市| 志丹县| 雷山县| 南和县| 吉首市| 东海县| 武川县| 祁东县|