求助，国际化站后台日志显示很多404

xu6882611

/ ~/ t: ?- U/ B+ k
网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。
* Y9 b0 [8 W0 ]9 k1 V
之前的链接是这样
首页https://example.com  
% Y- h5 b% |7 V$ f, J5 P" a( v国际化 https://example.com/zh-cn  
4 U, u3 r* q9 s, K( ~! N) _栏目https://example.com/food  
% x8 U; y+ _& E文章https://example.com/food/abc.html
- H* R1 a& K' Q  I/ _4 F- l
% m: s0 t' F. _" l( N: O8 C* J所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
首页https://example.com/
0 v) b( b* |* \8 z, M& d1 r国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
! k6 z3 z% [/ b文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
! `8 P# p; O  u6 o5 t+ }看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

: X7 V' T" d0 T; O# d9 {审视过好几遍了！
- a9 O/ t6 E8 P8 R
比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

" B$ g2 Q) E' L/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
1 l% j- n7 S$ Y$ L6 `6 ^/zh-cn/food/abc.html  200