什么robots.txt文件有什么作用呢？今天沈陽(yáng)網(wǎng)站開發(fā)來和大家一起聊聊這個(gè)問題。

什么robots.txt文件

查找引擎運(yùn)用spider程序自動(dòng)訪問互聯(lián)網(wǎng)上的頁(yè)面并獲取頁(yè)面信息。spider在訪問一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì) 查看該網(wǎng)站的根域下是不是有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取計(jì)劃。您可以在您的網(wǎng)站中創(chuàng)立一個(gè)robots.txt，在文件中聲明 該網(wǎng)站中不想被查找引擎錄入的有些或許指定查找引擎只錄入特定的有些。

robots.txt文件對(duì)網(wǎng)站有什么作用