集群情况

1台服务器,做master
8台服务器,每台运行4个segment
服务器硬件一样:
    cpu:xeon e5-2620
    内存:64G
    硬盘:4Tx8 RAID 6
OS:CentOS 7.2
GreenPlum: github master

不稳定

  1. 安装的时候小问题不少

  2. 大批量写入数据不稳定,会报各种报错:

MPP detected 32 segment failures, system is reconnected (cdbfts.c:228)
The distributed transaction 'Prepare' broadcast failed to one or more segments for gid = 1464921510 - 0000034486. (cdbtm.c:690)

速度慢

写入10亿条数据(仅3个字段),试过各自方法:

  1. 把每1000条插入语句组成1个长字符串,效果差,每秒才10几条。而且有个很奇怪的现象,master会向其他节点发送大量的数据(跑满网卡),但是写入数据库的效率却很差

  2. 每次还是插入一条,累计1000条再发送commit。情况和1一样

  3. 使用copy_from,效果好很多,每秒可以插入2万条,但是和单机的postgresql比,性能只有5分之一
    master cpu 80%,估计master是瓶颈

查询速度和单机postgresql比,差了几十倍;

  1. 使用explain分析,速度很快(40ms)

  2. 得到数据(10条),要12s

  3. 查询时segment CPU 100%


Comments