最近接触了一个业务(波场区块)所有区块交易数据存入自己的数据库 然后记录一些交易数据,比如笔数,与那些地址有来往,分别来往多少USDT数量 等等! 已知目前区块数量大概7300万个,每个区块大约300条数据 数据量大概就是20多亿条, PB级别的数据量
这种级别 用什么数据库比较好?涉及sun count 等很多运算!
首先肯定要分库分表。而且这个数据量应该考虑读写分离与热备机制。 不过不好意思我没经历过这么大的数据量,但是就我的一点点看法来,这种情况一定要选择商业数据库而不是MySQL之流。SQL server或者oracle个人感觉应该没问题,配上分库分表、读写分离与一些关键数据的热备。 如果业务还算重要,建议找个DBA。毕竟DBA存在就有存在的道理,专业的事交给专业的人做。
仅供参考,我bh 上看,有人2y条数据,可以秒查询
秒查询这么多,是不是走主键查询。如果是主键查询,秒查询还是比较简单
不知道,我昨天也面临一个 选择,不过没有他这么多,估计也就5g数据,最终我选择了 mongodb
我想应该不单纯是数据库的问题,因为我也用过es mongo ,试过写入2000万条数据后,进行深分页遍历 聚合运算 没有一个能做到秒级的,应该设计构造 方面非常重要
首先肯定要分库分表。而且这个数据量应该考虑读写分离与热备机制。
不过不好意思我没经历过这么大的数据量,但是就我的一点点看法来,这种情况一定要选择商业数据库而不是MySQL之流。SQL server或者oracle个人感觉应该没问题,配上分库分表、读写分离与一些关键数据的热备。
如果业务还算重要,建议找个DBA。毕竟DBA存在就有存在的道理,专业的事交给专业的人做。
仅供参考,我bh 上看,有人2y条数据,可以秒查询
秒查询这么多,是不是走主键查询。如果是主键查询,秒查询还是比较简单
不知道,我昨天也面临一个 选择,不过没有他这么多,估计也就5g数据,最终我选择了 mongodb
我想应该不单纯是数据库的问题,因为我也用过es mongo ,试过写入2000万条数据后,进行深分页遍历 聚合运算 没有一个能做到秒级的,应该设计构造 方面非常重要