一个开源的正文提取程序

bjzhush

) l* e0 w/ e9 W# H   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
3 t, M  n3 p8 a' w: w9 V做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
: E( H; V& c1 Y% }. F* E有篇blog对这个介绍的比较详细,我就不在这里赘述了
2 r. L1 t" J3 ]3 ]' T6 Q
这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:

2013年09月29日17:47:27 补充


4 \; H: O( J( \; I6 R
我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码


只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!
" `( ~0 W' D& }6 |( G# B
7 z; S9 Y. {# Z8 L5 G" r' x
3 u2 o" v6 ]& P$ t0 I& C/ F. `) @

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

0 l# a' ~) ?/ X! k- Y. _这个东西做一个接口非常容易的
       $title   = $Data['title'];
4 J7 ~9 y* p4 R$ Q% m. l1 P' }        $content = $Data['content'];
& o: c1 S3 F# ?( E( l7 S        include 'template/reader.html';
: N2 O( ?0 Z3 I; {: l这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
        echo json_encode($Data);
: K2 C; w; f. k$ d: s$ O$ r就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
& E/ j! A2 R* e6 H+ f! q9 t如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
3 @) ?5 j' y1 i自从用过这个之后，自己用的模板就全修改了一遍

什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
0 r4 Y7 l5 ~( k! H# L, E' ~3 v什么意思呢? 为什么要修改模板

防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
防止被这种程序提取内容

8 I7 ?4 S( M6 W3 Z. c, X5 m$ }. G真的要扒你的站,你是防不住的
不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
  V2 r( a. y* [. [$ P不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

6 s- O5 R; l+ k, F, m我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码


& Q2 t2 j9 f: W! U& q; E. d7 Q只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!

今天刚刚发现的