最近網站快被GPTBot和ClaudeBot這兩類蜘蛛給爬爆炸了。
服務器全天處於高負載狀態(一個月時間,給刷了7個T的流量,喪心病狂!)。
在查詢了一下訪問日誌後發現,居然是這兩類蜘蛛搞的壞事。
於是想了個辦法,給屏蔽掉了。
把下面這個代碼,加入到網站的僞靜態裏面,如果是GPTBot和ClaudeBot蜘蛛,那就直接返回502。
if ($http_user_agent ~* "GPTBot|ClaudeBot") {
return 502;
}隨後,我又在防火牆,把這兩類蜘蛛的ip,全部給禁掉。
網站徹底恢復正常了。
