收录慢这件事,最怕的就是瞎猜。有人一听说收录慢,就开始删内容、换模板、买外链,折腾一圈反而更差。其实可以先做一件更有用的事:把不被收录拆成三种不同的情况,再对着自查清单一项项过。分清楚属于哪一种,处理方向是完全不同的。
一、先分清三种情况
第一种,爬虫根本没来,或者来了没拿到内容;第二种,抓到了内容,但判定不够格,不进索引库;第三种,进了索引库,但不对外展现。判断方法用抓取诊断跑一次首页:诊断失败,属于第一种;诊断成功、索引量长期为零,大概率是第二种;site 能看到、搜完整标题搜不到,就是第三种。这三类里,第一种自己就能修,第二种要花时间补内容,第三种最需要耐心,因为它的反馈周期最长。
二、自查第一组:抓取通道
逐项对:robots.txt 有没有误拦,直接在浏览器打开域名加 /robots.txt 看一眼;服务器是否稳定返回 200,用命令行带上百度蜘蛛的 UA 请求一次;有没有遗留 noindex 标签,打开源码搜 noindex 和 canonical 两个词;有没有做站点验证,没验证的话官方工具的提交入口都用不了。这一组最容易修,也最该先修。
三、自查第二组:页面本身
页面上有实质正文吗,还是只有图片和导航;正文有没有靠 JS 渲染,禁用 JavaScript 之后还剩下什么;同一条内容站内是不是存在好几个版本,标题不同、内容一样;页面的标题和正文对不对得上。这几项都是常见失分点,其中 JS 渲染和重复页面出问题的站最多,也最容易被忽略。
四、自查第三组:站点整体
搜索引擎看的是站,不只是单个页面。整站只有十几篇内容、首页没有一个可以点进去的栏目入口、站点没有备案信息和联系方式,这些都会让收录变得困难。新站尤其要注意:站点内容太少的时候,即使某几篇写得不错,也很难被单独放出来。有个常见误解是内容少就等于质量差,其实不完全是这样。站点可以小,但每一页都要有完整的主体内容,站内也要有清楚的相互关系,让搜索引擎能看懂这个站是围绕什么组织的。
五、自查第四组:内容来源
站内内容是自己写的,还是采集拼接的,比例大概是多少。采集站的典型特征是:正文里残留别的站名、图片带着外站水印、发布时间密集而且成批出现、同一批文章句式高度相似。这类信号一旦被识别,整站的收录都会受影响,不是某几篇文章的问题。判断自己属于哪一类,不要看单篇,看整批:把最近三十天的内容列出来,看句式、看结构、看有没有重复的模板开头,问题会很明显。
六、批量跑一次状态检查
逐页手动查太慢,用脚本把关键页面的返回码和 robots 都跑一遍:
# 批量检查关键页面:返回码 + 可访问性
from urllib.request import Request, urlopen
from urllib.error import HTTPError, URLError
UA = {"User-Agent": "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"}
urls = [
"https://www.example.com/",
"https://www.example.com/robots.txt",
"https://www.example.com/sitemap.xml",
"https://www.example.com/article/123.html",
]
for u in urls:
try:
resp = urlopen(Request(u, headers=UA), timeout=10)
print(resp.status, u)
except HTTPError as e:
print(e.code, u, "<- 需要处理")
except URLError as e:
print("连接失败", u, e.reason)
输出里有 4xx、5xx 的页面先处理掉,robots 被禁的确认是预期还是误伤。这一步做完,抓取层的问题基本清空。改完任何一项之后,最好用抓取诊断复跑一次,确认抓到的内容和之前有变化。
七、处理顺序别弄反
正确的顺序是:先修抓取通道(robots、状态码、noindex、站点验证),再补站点内容(首页主题化、栏目结构、内容量),然后才是提交(sitemap、主动推送)。顺序反过来,比如先拼命提交、通道却是坏的,提交动作等于白做,还会白白消耗配额。
八、观察指标与周期
修完之后看三个数:抓取频次、索引量、抓取异常。抓取频次是先行指标,它先动,索引量才会跟着动。观察周期给到两到四周,中间不要反复改站——结构一改,爬虫又要重新认识一遍,前面等的时间就白费了。
九、结论
百度不收录,绝大多数不是玄学问题,而是这三类原因之一:抓不到、判定不够格、放了不展现。对照上面的四组自查项过一遍,把通道修通、把内容做实,剩下的就是按周期观察。真要给一条心态上的建议,就是别在观察期里频繁动手。顺序和耐心这两件事,比任何一个技巧都重要。
相关阅读:
《百度喜欢什么样的网站?从算法偏好拆解站点该有的特征》
《网站每天更新几篇文章合适?更新频率与内容质量的平衡点》
《内容越写越乱没方向?网站内容规划的三层结构怎么搭》
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
