求助，国际化站后台日志显示很多404

xu6882611

网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
0 B) g! R1 B( X5 G+ v4 H包括分页页码链接也是完整URL。
# A0 v! M" }3 c. q
之前的链接是这样
9 E+ Q+ G  |# k5 I8 e首页https://example.com  
国际化 https://example.com/zh-cn  
3 }1 g+ `/ d: l# ^& Q4 D: h. }栏目https://example.com/food  
文章https://example.com/food/abc.html

; M; Z2 _: I. v所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
5 Z: f+ n, i- m: j
发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
首页https://example.com/
( K1 h- {+ U; B  j国际化https://example.com/zh-cn/
! s3 l* z1 x  p, \+ R栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
1 ^1 c: [7 h" T$ J
问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
5 }( u+ S# b% J# M
! ~) e' U/ G1 g* ^. ]7 l; ?" k审视过好几遍了！

比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
* W1 O  i$ k' v4 j( U0 `/zh-tw/food/abc.html  200
; ~, f, J" o* d1 y/zh-cn/food/abc.html  200