一个开源的正文提取程序

bjzhush

4 b7 T" K5 |; t% o  `4 j7 B
   最近尝试一些伪原创的东西,那么第一步就是要根据策略从一定的数据源抓取信息,然后整合,替换近义词,打乱什么的,
做的过程中,发现了一个非常不错的开源的PHP正文提取的开源程序,可以将正文内容提取出来,准确率还不错,尤其是对blog之类的,文章里的图片也没问题
! L. o% S# j5 f" u有篇blog对这个介绍的比较详细,我就不在这里赘述了

8 `3 W2 T; ^, l) ~这里可以看详细的介绍以及DEMO :

1. http://urlshort.shuaizhu.com/1k2

复制代码

这里你可以输入一个URL进行测试:

1. http://urlshort.shuaizhu.com/1k3

复制代码

这里你可以直接下载程序安装到本地:

1. http://urlshort.shuaizhu.com/1k4

复制代码

PS:
1 m6 n: `1 f! p; K" R4 G5 s+ A: h
2013年09月29日17:47:27 补充

! y. Z) l/ x6 Z. w* X( R3 s9 ~9 ^
6 t2 H3 ]; [2 z! K, \/ P0 s1 R, T
我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
! M0 i. u8 J9 u! T7 g5 F

只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!!

# w- G# i+ O; M+ T
$ @+ T) y, y# D2 o0 `+ g! u

bjzhush

感谢 @mj23zyb  帮我编辑URL格式,以前论坛用的少,这个还不太熟,以后我会注意

阴天的下午

不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。

bjzhush

阴天的下午 发表于 2013-9-28 22:31
/ W9 f6 `0 I5 f; y% ]$ ^不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

* T' Y$ S% O  y# G0 U( ~3 D这个东西做一个接口非常容易的
       $title   = $Data['title'];
3 B6 k) `8 q5 I( _+ v1 x! q4 v        $content = $Data['content'];
        include 'template/reader.html';
( ~' ~. R% i8 S; ]0 s这是index.php的最后的部分,只需要把include所在的一行注释掉,然后加一行
; K$ R" T4 Q3 f+ @6 n, X- Q/ a1 U        echo json_encode($Data);
就可以以json格式返回,那么需要批量的时候,直接每次调取就可以了
) H! b) n# `  m9 W  t" @6 s; W' r$ M如果还不清楚,可以继续问

阿百川

自从用过这个之后，自己用的模板就全修改了一遍

JasonLee

感谢 真心很不错的 希望楼主以后能继续分享类似的

bjzhush

阿百川 发表于 2013-9-29 07:55
- m/ G* j0 d% l! l6 e  W. e! L自从用过这个之后，自己用的模板就全修改了一遍

9 f4 @$ N  z; a' p% A2 d什么意思呢? 为什么要修改模板

阿百川

bjzhush 发表于 2013-9-29 11:07
7 s0 D- w! V& v9 n什么意思呢? 为什么要修改模板

, f; g" V7 y+ L' K防止被这种程序提取内容

bjzhush

阿百川 发表于 2013-9-29 11:42
防止被这种程序提取内容

真的要扒你的站,你是防不住的
不怕贼偷,就怕贼惦记,哈哈

bjzhush

阴天的下午 发表于 2013-9-28 22:31
不错，好东西，刚试试了下网页版的还可以，不知道工具有无批量转换的功能。 ...

, n  z2 o9 l; }; \# |我今天发现,这个自带了HTML格式预览和json结构返回2种功能,之前没有仔细读readme,也没仔细看代码
. J$ t# n6 L- q5 G4 D) s' u
) n) n2 @& a: A! }+ r0 j% i
只需要在调用的url中加上  &type=json  即可以json格式返回提取的正文/标题/url !!

. M, E0 @  F! G0 y$ ]- Q" L0 v; \今天刚刚发现的