多数据库怎么维护连接

多进程处理任务,但每个任务涉及的数据库可能不一样(多租户),怎么维护数据连接呢 目的是开多个worker进程处理不同租户的异步任务 最大总连接数 = 进程数量 * 租户数量 租户有1000,进程10个,那么每个进程维护的数量就是1万...

z985342160 发表与 2021-11-04 1350 浏览 1 回答
消息队列,消费者可以同时处理多条消息吗?

RabbmitMQ队列里都是耗时任务:请求第三方的API(http)。 当开启一个消费worker时,能否在产生IO时继续处理下一条消息。 场景:同步第三方平台的产品数据,比如发起同步某个账号的产品,一个账号下面的产品可以最少也有几千条,多达十几万的也有。 注:考虑第三方API是没有批量查询接口的。 将产品ID放在队列里,开启worker消费,消费者可以在遇到IO等待时继续处理下一条消费吗,需要对每条消息ACK(主要...

z985342160 发表与 2021-09-28 1910 浏览 1 回答
RabbitMQ中消费时,是不是能使用异步(如异步http)组件吗?

例: $channel->basic_qos(0, 5, false); $channel->basic_consume('name', '', false, false, false, false, function(AMQPMessage $message) { echo 'Rec:', $message->getBody(), "\n"; $http = new Http();...

z985342160 发表与 2021-05-19 1847 浏览 1 回答
进程占用内存太多

开启多个进程,每个进程内能过定时来执行任务。 项目描述:相于当爬虫,只是调用的是平台提供的API,抓去产品列表、对手价格,然后实现自动改价格(大部分都是平台提供的API)。 目前账号已经在达到150个。有的账号下的产品有2-3千。服务器配置还是最近才升到8核16G。CPU和内存使用率特别高。最近我发现有进程占用的内存超过1G(SHR)了,有的才几十。我猜测是某些账号下产品太多导致内存占用过高。根据文档查找进程ID,基...

z985342160 发表与 2021-05-07 2358 浏览 3 回答
队列和异步任务

应用: 通过API向物流提交订单信息,物流返回追踪号和快递单(label),一般一次请求在1-2秒之间(暂不考虑是国外还是国内) 问题: 目前很笨的办法是利用循环一个一个的获取,处理慢,客户需要等待的时间太久(就不能操作其它了),体验非常不好 目前想到两种方案: 1、利用消息队列和workerman多进程 在N台机器上部署workerman,每台服务器开M个进程,即共有 N*M 个进程处理消息 保存处理结果...

z985342160 发表与 2018-06-20 4836 浏览 1 回答

z985342160

2188
积分
0
获赞数
0
粉丝数
2018-06-20 加入
🔝