AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP FB个号1块一个TikTok2审户/老户/国内外端口/加白SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️跨境债务催收/风险代理高权重Google老户[卖户+筛户等级] 海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1FB企业户海外户,授信户,TK加白户广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 80061|回复: 35

[讨论] 做大型多语言采集站哪种方案好些?

[复制链接]

27

主题

1390

广告币

1979

积分

高级会员

Rank: 4

积分
1979

社区QQ达人

发表于 2020-10-2 21:16:51 | 显示全部楼层 |阅读模式
采集量可能比较大,在千万以上,能想到两个解决方法,不知道哪更合适些,请指教。
$ Q! {4 Q7 w: _' }0 F% ?- b) @1,只采集源语言,其他语言版本用google api翻译并生成,网站本身不存储其它语言版本的内容,这样便于管理成本也小,缺点就是时刻依赖google api,似乎不可控。
* K8 }) Q5 T% ]) m7 w$ W0 {* m2,采集源语言的时候并翻译成多种语言版本然后再发布,但这样成本就成倍数增长,数据库也占用太多,负载重。
/ \2 b% c" a, V2 D' Y& j4 _9 [" y( X
请问哪个解决方法要好些,一般都是怎么处理这样的问题的。另外不管1和2这样动态的网页可否交给cloudflare来缓存要好些?7 m8 d" P' ~& o: U/ }
谢谢
- f$ i& F# h- J4 M# U: R7 i
相关帖子
回复

使用道具 举报

19

主题

1109

广告币

2022

积分

高级会员

Rank: 4

积分
2022

社区QQ达人

QQ
发表于 2020-10-4 22:31:08 | 显示全部楼层
gatsby 发表于 2020-10-4 21:24
% g2 l! [" |( |% t& M2 H正是准备使用lnmp搭建wordpress,这可如何是好
* z/ w$ S7 \0 }$ Z
别想那么远,干了再说,说不定你几万数据时候就已经放弃这个站了

点评

不错,干了再说  详情 回复 发表于 2020-10-4 22:56
努力奋斗
回复 支持 1 反对 0

使用道具 举报

0

主题

18

广告币

40

积分

初级会员

Rank: 2

积分
40

社区QQ达人

发表于 2020-10-2 21:58:11 来自手机 | 显示全部楼层
采集一个版本,之后用翻译插件

点评

用第三方插件的话,一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站,怕第三方停止服务或者流量大的话不知道是否会有影响。  详情 回复 发表于 2020-10-2 22:19
回复 支持 反对

使用道具 举报

27

主题

1390

广告币

1979

积分

高级会员

Rank: 4

积分
1979

社区QQ达人

 楼主| 发表于 2020-10-2 22:19:10 | 显示全部楼层
cxd44 发表于 2020-10-2 21:58
# N6 R) w% g+ J3 \采集一个版本,之后用翻译插件
( O  A% u, q9 u7 M
用第三方插件的话,一般翻译版本的网站都是通过第三方插件处理翻译网站内容后中转到自己的网站,怕第三方停止服务或者流量大的话不知道是否会有影响。
回复 支持 反对

使用道具 举报

75

主题

810

广告币

1353

积分

高级会员

Rank: 4

积分
1353

社区QQ达人

发表于 2020-10-2 22:44:17 | 显示全部楼层
现在硬盘那么便宜。
2 M& C: a* Q0 Q. x5 V# n5 p% j说说我的方法吧,买个德国VPS,然后采集英语,入库。& [/ J/ ^. H2 Y3 G0 S" D6 Z
再翻译成德语,法语,西班牙语,葡萄牙语等等,放入不同字段。
3 }6 t3 i. [7 t  \1 \. `# h然后搞个火车头免登陆接口发布。
2 S& V0 _% V! _4 O打完,收工。

点评

大神用的什么翻译api?是免费的吗  详情 回复 发表于 2020-10-3 07:26
抱歉,资质愚钝没太明白。 采集入库后怎么翻译? “放入不同字段。然后搞个火车头免登陆接口发布”也没明白 另外火车头采集千万数据的话采集排重是不是比较困难,采集也可能比较慢。 我是想学下scrapy分布式抓取  详情 回复 发表于 2020-10-2 23:20
回复 支持 反对

使用道具 举报

27

主题

1390

广告币

1979

积分

高级会员

Rank: 4

积分
1979

社区QQ达人

 楼主| 发表于 2020-10-2 23:20:06 | 显示全部楼层
东方人 发表于 2020-10-2 22:44
. \; t& [+ z% ~8 q) B- G现在硬盘那么便宜。
9 j) h2 n9 H" k( D! a说说我的方法吧,买个德国VPS,然后采集英语,入库。5 M" `% Q; X- s& Y
再翻译成德语,法语,西班牙语, ...
: A2 t; x7 Y1 e: q- c- J
抱歉,资质愚钝没太明白。
' B8 O3 z& _5 D. G' S采集入库后怎么翻译?  “放入不同字段。然后搞个火车头免登陆接口发布”也没明白
2 \( k. G% q7 u& P) h% J另外火车头采集千万数据的话采集排重是不是比较困难,采集也可能比较慢。
% H# Q" s2 z$ ]4 s  \- a6 c我是想学下scrapy分布式抓取用布隆过滤器。
回复 支持 反对

使用道具 举报

3

主题

511

广告币

590

积分

中级会员

Rank: 3Rank: 3

积分
590
发表于 2020-10-2 23:51:20 | 显示全部楼层
我的经验:全部翻译好入库,硬盘的成本是最低的,不要丢了西瓜捡了芝麻,cf可以用,但是不要想着靠cf来节省硬盘,千万级内容,你系统的负载能力要好,否则并发上来就跪了。根本等不到用cf。爬虫就爬死了。

点评

非常感谢,wordpress可行不?  详情 回复 发表于 2020-10-3 00:34
回复 支持 反对

使用道具 举报

27

主题

1390

广告币

1979

积分

高级会员

Rank: 4

积分
1979

社区QQ达人

 楼主| 发表于 2020-10-3 00:34:04 | 显示全部楼层
yrj 发表于 2020-10-2 23:51
* D4 q# p, |4 j) x# E0 {我的经验:全部翻译好入库,硬盘的成本是最低的,不要丢了西瓜捡了芝麻,cf可以用,但是不要想着靠cf来节省 ...

% d& c; r) R2 h! ]; S非常感谢,wordpress可行不?

点评

。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。  详情 回复 发表于 2020-10-3 21:23
yrj
wordpress 我用的不多,堆缓存也许可以。  详情 回复 发表于 2020-10-3 03:23
回复 支持 反对

使用道具 举报

3

主题

511

广告币

590

积分

中级会员

Rank: 3Rank: 3

积分
590
发表于 2020-10-3 03:23:41 | 显示全部楼层
gatsby 发表于 2020-10-3 00:34$ ?& n1 c7 `8 h$ e7 t
非常感谢,wordpress可行不?

( H0 |, e/ C0 P0 j0 D0 a4 Awordpress 我用的不多,堆缓存也许可以。
回复 支持 反对

使用道具 举报

50

主题

961

广告币

1411

积分

高级会员

Rank: 4

积分
1411
发表于 2020-10-3 07:26:46 | 显示全部楼层
东方人 发表于 2020-10-2 22:44
. R. a# {% }- O7 g% U: A现在硬盘那么便宜。9 Z8 o  p" v; v! |) Z
说说我的方法吧,买个德国VPS,然后采集英语,入库。4 x* \$ |5 b/ Z+ t5 `3 q' S- |9 J" o
再翻译成德语,法语,西班牙语, ...

* H7 ]" P8 E0 X1 `大神用的什么翻译api?是免费的吗
回复 支持 反对

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

Rank: 4

积分
2370
发表于 2020-10-3 09:04:59 | 显示全部楼层
明显第2种

点评

好的,就使用本地存储数据靠谱些。  详情 回复 发表于 2020-10-3 11:46
回复 支持 反对

使用道具 举报

27

主题

1390

广告币

1979

积分

高级会员

Rank: 4

积分
1979

社区QQ达人

 楼主| 发表于 2020-10-3 11:46:12 | 显示全部楼层
54clz 发表于 2020-10-3 09:049 U) U4 H* ]$ A, }4 z6 w
明显第2种
8 U2 X3 Y; N) l
好的,就使用本地存储数据靠谱些。
回复 支持 反对

使用道具 举报

27

主题

324

广告币

473

积分

中级会员

Rank: 3Rank: 3

积分
473
发表于 2020-10-3 17:30:02 | 显示全部楼层
这么大的量级?你先评估一下对数据库优化的水平,千万级可是另外一个门槛了

点评

那数据量大一般都用传统的cms吗?  详情 回复 发表于 2020-10-3 22:20
回复 支持 反对

使用道具 举报

5

主题

33

广告币

85

积分

初级会员

Rank: 2

积分
85
发表于 2020-10-3 21:23:52 | 显示全部楼层
gatsby 发表于 2020-10-3 00:34) Q$ x0 y4 K% H
非常感谢,wordpress可行不?
  U9 |0 Z/ X4 K, j
。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。

点评

如果wordpress用上缓存,再用上cdn缓存,这样应该就能缓解很大负担了吧?  详情 回复 发表于 2020-10-3 22:16
低调做人,高调做事
回复 支持 反对

使用道具 举报

27

主题

1390

广告币

1979

积分

高级会员

Rank: 4

积分
1979

社区QQ达人

 楼主| 发表于 2020-10-3 22:16:58 | 显示全部楼层
golang 发表于 2020-10-3 21:237 K' s" O1 V9 T, J5 r" ]7 C5 F
。。。。。看到你说WordPress ,别说千万了,5万信息量,F5 刷新就能瘫痪。
# K+ D3 |, _# I1 v5 J
如果wordpress用上缓存,再用上cdn缓存,这样应该就能缓解很大负担了吧?
回复 支持 反对

使用道具 举报

27

主题

1390

广告币

1979

积分

高级会员

Rank: 4

积分
1979

社区QQ达人

 楼主| 发表于 2020-10-3 22:20:48 | 显示全部楼层
buyabag 发表于 2020-10-3 17:30
8 J; E& u2 J8 A/ p这么大的量级?你先评估一下对数据库优化的水平,千万级可是另外一个门槛了 ...

, T% ~' s% J. x那数据量大一般都用传统的cms吗?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-4-4 12:46 , Processed in 0.057566 second(s), 15 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表