欧美激情一区二区三区AA片,国产精品久久久天天影视香蕉,国产又色又爽又刺激在线观看,国产精品A成V人在线播放,久久精品视频观看,中国国语毛片免费观看视频,免费看成年人视频在线观看,性饥渴的漂亮女邻居

廣東|福建|浙江|江蘇|上海 |北京|山東|遼寧|江西|河南|四川|湖北|湖南|廣西|安徽|黑龍江|天津|重慶|吉林|河北|貴州|甘肅|山西|云南|新疆|寧夏|海南|陜西|西藏|青海|內蒙古

新聞中心

robots.txt是搜索引擎訪問網站的時侯要查看的第1個文件
發布時間:2021-06-03 09:01:05

rotbots.txt文件的制作


1.robots.txt文件的作用

robots.txt文件是一個文本文件,這個文件用來告訴搜索引擎蜘蛛網站的哪些部分應該被抓取,哪些部分不用抓取。比如說,如果有很多網站源文件,抓取可能會增加服務器的負載,且會耗費搜索引擎爬蟲的時間來索引網站文件。站長可以使用文本編輯器創建一個名為robots.txt的文件,比如NotePad++或記事本等工具。

注意:robots.txt實際上是搜索引擎訪問網站的時侯要查看的第1個文件,當一個搜索蜘蛛訪問一個網站時,它會首先檢查該站點根目錄下是否存在robots.txt文件,如果存在就會按照該文件中的內容來確定訪問的范圍。




2.robots.txt文件制作與上傳

打開Windows的記事本工具,在記事本中添加如下代碼,然后將其保存為robots.xt文件。

在記事本中編寫robots.txt文件效果

保存好robots.txt文件后,將其上傳到網站的根目錄下,就可以控制搜索引擎蜘蛛的爬行軌跡了。

鑒于robots.txt中包含了很多指令,互聯網上也有很多在線的工具用來生成這個文件,比如Chinaz的站長工具,網址為http://tool.chinaz.com/robots/,因此上面的示例可以用這個工具輕松實現。

使用站長工具編寫robots.txt文件

在編寫完成后,單擊下面的“生成”按鈕,將會在頁面底部的文本框控件中生成robots.txt文件內容,將其復制到文本文件中并保存,即可創建robots.xt文件。

上一篇:死鏈文件制作及提交,站點地圖 Sitemap的優化       下一篇: .htaccess的其他SEO用途

提供全國各地網站建設服務

上海 | 北京 | 深圳 | 廣州 | 天津 | 南京 | 大連 | 杭州 | 沈陽 | 成都 | 東莞 | 濟南 | 佛山 | 無錫 | 長沙 | 武漢 | 寧波 | 長春 | 蘇州 | 青島 | 珠海 | 大慶 | 福州 | 廈門 | 常州 | 鄭州 | 煙臺 | 西安 | 合肥 | 南寧 | 重慶 | 東營 | 昆明 | 威海 | 中山 | 南昌 | 紹興 | 太原 | 惠州 | 溫州 | 徐州 | 揚州 | 淄博 | 鎮江 | 鞍山 | 保定 | 銀川 | 南通 | 洛陽 | 嘉興 | 臺州 | 桂林 | 貴陽 | 蘭州 | 盤錦 | 漳州 | 黃石 | 唐山 | 濰坊 | 湘潭 | 肇慶 | 吉林 | 江門 | 海口 | 株洲 | 泉州 | 泰州 | 包頭 | 柳州 | 德州 | 韶關 | 寶雞 | 金華 | 鹽城 | 新鄉 | 十堰 | 廊坊 | 玉溪 | 濟寧 | 滄州 | 蕪湖 | 湖州 | 梧州 | 泰安 | 安陽 | 遼陽 | 舟山 | 梅州 | 常德 | 三明 | 連云港 | 哈爾濱 | 秦皇島 | 馬鞍山 | 石家莊| 呼和浩特

 
備案系統認證 舉報不良網站 我們的支付方式 AAA級信用
廣州萬戶網絡信息科技有限公司 旗下網站建設品牌:萬戶網 www.813r.com 版權所有 ©2000-2019 All Rights Reserved
網站備案編號:粵ICP備15049595號 地址:廣州市番禺區大石街北聯圍仔工業路2號E座305
電話:020-85421558   傳真:020-88140140   郵編:510515