Robots技巧_蜘蛛訪問統(tǒng)計插件

1、如何拒絕搜索引擎爬取不相關的JS接口URL;
      如下圖所示:JS接口URL都有一個特性,前綴是 /index.php?m=api&c=Ajax&a=


可以編輯網(wǎng)站的根目錄下robots.txt文件,追加一條如下代碼:
Disallow: /index.php?m=api&c=Ajax&a=* 


2、如何拒絕搜索引擎爬取不想被收錄的插件URL;
      如下圖所示:每個插件URL都有一個特性,前綴是 /index.php?m=plugins&c=插件標識



紅色圈住的是一個微信分享插件,如果這個URL在瀏覽器上打開是無效頁面,可以通過如下robots.txt規(guī)則進行屏蔽,拒絕搜索引擎爬取。
編輯網(wǎng)站的根目錄下robots.txt文件,追加一條如下代碼:
Disallow: /index.php?m=plugins&c=WeixinShare&a=*


文檔最后更新時間:2020-08-24 16:13:16

文檔
目錄

深色
模式

切換
寬度