成都网站建设设计

将想法与焦点和您一起共享

用sequoiasql-postgresql创建一个关联表怎么优化

本篇内容介绍了“用sequoiasql-postgresql创建一个关联表怎么优化”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

为城关等地区用户提供了全套网页设计制作服务,及城关网站建设行业解决方案。主营业务为成都网站建设、成都网站设计、城关网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

【用户咨询】 
用sequoiasql-postgresql创建一个关联表,存入500W数据。在创建索引的情况下,用pg进行简单的group by查询,平均耗时是50秒,是否可以进一步优化? 
【问题描述】 
1.集群部署情况 
   三台主机对应一个分区组,每台主机均部署有coord、cata、data节点。 
2.表属性 
   一个500w数据的关联表b_qt_swdj和一个800w数据的pg原生表b_qt_swdj1,两个表结构相同,一共39个字段。 
3.sample和语句 
   对关联表执行查询: 
   ①SELECT sw_scjy_yb,count(se_scjy_yb) as count FROM b_qt_swdj group by sw_scjy_yb; 
   ②SELECT count(1) from b_qt_swdj; 
   对原生表执行查询: 
   ③SELECT sw_scjy_yb,count(se_scjy_yb) as count FROM b_qt_swdj1 group by sw_scjy_yb; 
   ④SELECT count(1) from b_qt_swdj1; 
    用db内置sql执行①,耗时57秒。执行②,耗时33秒。 
    用pg执行①,耗时50秒。执行②,耗时44秒。

用pg执行③,耗时8秒。执行④,耗时3秒。 
4.网络带宽 
    传输数据时约为46MB/S。 

【解决办法】 
SELECT sw_scjy_yb,count(se_scjy_yb) as count FROM b_qt_swdj1 group by sw_scjy_yb;在pg耗时和使用sdb内置sql耗时差不多,都是50S左右。跟pg关系不大。 
从pg的访问计划(见截图三)来看,绝大部分耗时也是在select上。 
建议一:应该考虑在sdb端对表做分区,提高数据抽取并发度去提高性能。 
建议二:对于大表的统计推荐使用SparkSQL作为sql引擎。 

“用sequoiasql-postgresql创建一个关联表怎么优化”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


新闻标题:用sequoiasql-postgresql创建一个关联表怎么优化
分享网址:http://chengdu.cdxwcx.cn/article/gpijdd.html