SemrushBot是什么爬蟲？要不要屏蔽掉
SemrushBot是SEMrush的蜘蛛爬蟲。
SEMrush是一家老牌的提供搜索引擎優(yōu)化數(shù)據(jù)的公司，是一個(gè)強(qiáng)大的、全面的在線營(yíng)銷競(jìng)爭(zhēng)情報(bào)平臺(tái),其中包括 SEO、PPC、社交媒體和視頻廣告研究。
建議中文站屏蔽掉它的爬行，首先因?yàn)檫@個(gè)蜘蛛爬行并不會(huì)給網(wǎng)站帶來流量，只會(huì)占用服務(wù)器資源，其次是這是已經(jīng)數(shù)據(jù)分析公司的爬蟲，它爬的數(shù)據(jù)會(huì)成為你競(jìng)爭(zhēng)對(duì)手的分析利器。
如何屏蔽SemrushBot呢？
robots.txt文件中添加以下代碼即可：
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
下一篇
國(guó)外好用的seo分析工具（多款收費(fèi)）
