使用workerman做一个爬虫服务器网站,进行数据获取

segcbryjntfbrdtesrgdfhjg

问题描述

想做一个爬虫服务器,提交网页url,然后后台调用selenium浏览器进行浏览,浏览完成返回渲染好的网页,以及Cookie,header等信息,要怎么设计这样的网站架构使用workerman的话.

太多网站进行动态渲染了,而且本地写selenium挺麻烦,而且某些网站有地市限制,所以想做成一个服务统一调取,方便公司对子公司的业务进行搜集

我该怎么设计这种网站呢?

有什么比较好用的架构方案吗?

327 1 0
1个回答

nitron

PHPCreeper ,基于Workerman,作者也在论坛里 @blogdaren

  • 王八念经 20天前

    这个都没维护了吧,文档 卡的要死,官网也打不开

  • nitron 20天前

    最后一次提交时间, 2 Days ago,文档打开很快,官网也没问题

    有不少小伙伴反馈说文档网站经常打不开或访问很慢,这是因为文档是托管在国外的公益性虚拟机FWA上,作者没有参与任何商业性平台和资源,手上也没有任何给力的服务器资源,无论是爬山虎项目还是PHP内核视频或其他技术参与等,多年来一直都是在做无偿性的付出,所以无法给大家提供更好的服务,尽力了。

  • segcbryjntfbrdtesrgdfhjg 19天前

    我去试试

  • segcbryjntfbrdtesrgdfhjg 19天前

    还有就是爬虫是一个耗时的工作,这种耗时的工作该怎么分配

🔝