歪歪正传

北漂歪歪的心情故事。

« 广电总局禁止省级卫视黄金时段播选秀节目dede 采集规则 新手教程 »

火车头采集教程For dedeCMS v3.1

现在我说一下介绍一下采集器

  现在市面上一般分三种,cms内置式,网络语言编写的,还有一种是基于.net框架开发的,我这是这么分的

  而在功能跟性能上的比较上,.net开发的是强的,也是灵活性最高的

  .cms内置式的,有代表性的就是动易,新云,ecms,dede,这种采集器本身跟cms整合的非常好,但是,由于php跟asp在性能上有一些缺陷,所以在处理大数据量的集息的时候,会显的力不从心

  而还有一种是独立于cms的采集器,代表性的有,小蜜蜂,跟sk,这种采集器的特别是独立于cms之外,相比cms内置的功能要强一些,但是这种采集器在发布的时候,一般都是采用直接写入数据库的方式,一般不懂得数据库结构的用户很难操作。

  第三种就是用语言写的,大多数接触的都是基于.net框架的,也有用vb写的,这种代表性强的就是火车头了,这种采集器一般来说,灵活性是最好的,而且扩展性强,比如火车头,就可以基于web发布,以及直接写库,以及数据库转换

  在采集器的选择上,不求都会,只精一种就行,个人推荐学会一种像火车头这种采集器,能用懂,充分利用,基本上,在采集数据上是不会再有障碍了。

  现在说一下关于使用采集器要注意的问题


  首先要有一定的html基础,也就是能看懂起码的html代码,因为这样有利于你分析目标内容的区域性。

  再有就是采集回来的内容切记不要完全拿来主义,最好是再进行一次二次编辑或者修改,这样有利于搜索引擎的判断,你的内容是否完全镜像,也有利于,同一篇内容的多网站重复利用

  有很多站长就说自己的垃圾站动不动就被k站,大多数的原因就是内容的重复性

  采集虽然在一定程序上能提高你制作网站的效率,但是也会增加你无用功的风除,大量的重复copy,对你,以及对其它站长都是不利于发展的。、

  搜索引擎是同意copy的,但是不能完全镜像。具体的大家可以自己思考一下,过多的同样内容,会占用大量的数据空间,对于搜索引擎也是如此,所以,它会使用一些手段去干掉大部份重复性的内容

  对于采集回来的内容,有几个小技巧说一下


  首先,在页面内容的组织上,比如title description keywords进行适当的修改

  在主内容页上,不要去拷贝别人的模版,而自己重新设计,如果是div css的,可以把id class,改变名称

  针对某些内容的关键字,利用采集器的替换功能,加上一些修饰代码,比如

  目标,有句话是 在反复多次的演练后 而在采集器的规则制作过程中,可以将演练替换成演练

  一些类似的手法

  个人是不推荐使用别人发布的模版的,重复的模版,重复的内容,结果就是被k或者惨淡的收录效果

  好了,不多说了,说火车头

  对了,补充一下,不要为了堆积而采集

  垃圾站只是一个名词,而不是形容词,你的站可以叫垃圾站,但不要内容也是,如果这样,不如干点别的,别浪费时间

  我按火车头3.01来讲,因为最新的3.1在采集图片上有bug

  一万篇内容完全镜像的数据,是顶不过一千篇进行过二次优过的内容的,排名,收录,完全两回事

  我说的只是个人经验,不是真理

  火车头有几个现在未修得的bug我说一下

  不要把任务列表删空,这样会无法新架入站点以及任务

  代理功能好像下载不了图片等数据,某些环境基本上无效

  ok,首先点击站点选项,新建站点,拿中国新闻网来做例子

  

  写个站点名称,点保存即可,如果此站大多数频道的模版是完全一样的,可以先制作内容采集规则。这样,在本站目录新建的任务,会继承,站点的内容规则。

  点击中国新闻网,右键,从该站新建任务,出现任务窗口


  新建任务名称

  点击向导添加,我们以中国新闻网的娱乐频道来做例子,因为娱乐频道是单页列表,所以在单条网址中加入http://www.chinanews.com.cn/entertainment.shtml,点添加,然后点完成添加。

  按上面图的例子发布

  如果列表页是多页网址,

  

  进行编写

  为了确定列表的正确性,要对

  Click here to open new windowCTRL+Mouse wheel to zoom in/out

  打开http://www.chinanews.com.cn/entertainment.shtml列表源代码

  找到列表的开始代码跟结束代码,最好使用唯一性,也是就代码的不重复性

  Click here to open new windowCTRL+Mouse wheel to zoom in/out

  点击开始测试,会出现新窗口

  

  效对列表的正确性,如果正确,可以进行内容规则编写

  选取任意一条内容页地址,右键,将该页转到规则测试

  在ie中也打开这个页的地址

  先进行标题规则的定义

  在标题的定义上有个小技巧,就是一般来说之间都是标题

  如果有类似蔡依林新恋情曝光-xxxx娱乐网

  将标题的结束代码设置为-即可,这点,火车头在代码的处理上是非常好的

  内容规则直接找到开始,结束代码即可,允许不唯一性

  有个问题要交待一下

  如果网页代码中有 类似的代码,一定要在内容标签中道先排除,否则会影响采集效果

  内容中的排除标签功能很弱,个人建议手动加入排除代码,经如

  

  会排除一切以table开始,>结整的代码

  其它的以此类推

  如果你要下载内容页的图片以及flash,切记要点选

  

  自动改为随机文件名,任意

  事实上火车头在规则制作上是非常简单的,唯一要注意的就是分页

  

  全部列出指的是1 2 3 4 5 6此类的页码

  而上下面,也就是说,内容页上有上一页,下一页这种

  不好意思,中新网的新闻内容分页的太少,等我找个带内容分页的

  ok,http://www.autohome.com.cn/news/200703/18937.html 汽车之家的

  我们来看一下这页的分页代码

  >>下一页

  [第1页][第2页] [下一页]

  因为是混合的,我们用全部列出模式

  开始代码

  结束代码html>[下一页]

  或者[下一页]

  有些内容分页在采集的时候,用[下一页],会形成内容页的重复采集,所以要采用html>[下一页],破坏掉其链接,这样火车头在分析分页的时候,就会忽略这个a链接

  

  回车连接上下面,指的是采集的内容页为整页,无分页

  自定义的功能为可以设置导入的目标cms的分页标识

  比如某些cms的分页是这样就可以这样设置

  

  这样采集出来的内容页会自动加上分页标签

  

  这个主要是针对论坛类的采集,选择内容标签循环匹配,可以采集到论坛的回贴,当然,所有的内容信息是在一页的

  基本上规则的制作就是这些,然后就是数据发布

  数据发布一般来说推荐web在线发布,这个一般用到全部发布的比较多

  具本的登陆模块可以去火车头的论坛下载

  有些下载的模块登陆不了,可以使用火车头的内置浏览器进行登陆后抓取cookie的模式,效果是一样的

  对于要采集图片 flash等内容还要补充一点的就是

  

  右键单击任务,选择任务高级设置

  

  这里主要讲一下

  

  这个是图片发到cms后,图片的链接地址,一般最好写绝对地址

  比如发布的目标站的地址是http://www.xxx.com/upimg/xxx.jpg

  其中upimg是在 图片相对保存文件夹中设置的

  而http://www.xxx.com/upimg/要设置在

  

  记得以/结束,有些人采集回来的图片显示不正常,就是因为这里没有设置造成的

  在高级里还有一个自动更新,运用这个功能,加上一些可以自己定时刷新列表,发布同时生成静态页的cms,可以做出完全自动化更新的网站

  这个就需要自己研究了

  没了,发完,收工

  另外,需要编写采集规则的,可以联系我的QQ:3523386

  最好符上采集器一份,有的采集器我没有备份

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

日历

最新评论及回复

最近发表

Powered By Z-Blog 1.8 Devo Build 80201, Template by Wilf.

Copyright www.xuanchunliang.com. Some Rights Reserved.