[Solr] Solr资源计算公式

这里,给出一个Solr方案资源计算的公式。

数据表特点
表字段 20~30字段
一行长度 前面字段200字节,后面字段1k.
考虑冗余,按照2K算
数据量(行) 700~800亿,按照1000亿算
每天增量(行) 1.5亿
HDFS存储原始数据(T) 200
清洗后放入HBase中查询数据容量(T) 186.2645149
索引表特点
创建索引字段 有6个字段需要建索引,4个字段组合
索引字段总长度 0.2k
索引膨胀率 1.5~2.5
solr副本数 2
索引数据(T) 46.56612873

每天10000w,单条索引0.2k
0.2*100000000000/1024/1024/1024=18.6265TB

索引膨胀率1.5~2.5
18.6265*2.5=46.5662TB

服务器配置
单台服务器容量 CPU:E5-2640v3(2路8C)
内存:196G
磁盘:900G *16硬盘,操作系统占用2个盘。
solr单节点容量 每个solr实例占用一个目录。根据磁盘数量,假如规划3个实例:
因此做3个raid5,每个raid5配置4个盘。
总共容量9*0.7T=6.3T。(考虑格式化率,容量80%上限保护)
HDFS单节点容量 14*0.7T=9.8T。
存储规模计算 备注:HBase和Solr分节点部署
solr节点(每个节点3实例) 14.78289801

solr副本数2
46.5662*2=93.1324TB
93.1324/6.3=14.7829台
约15台solr索引机器

HDFS节点 39.41474642
处理性能计算
产品能力:solr入库性能 7MB/Sec/Node
产品能力:solr查询性能 查询情况比较复杂,性能数据仅做参考,要以实测为主。
关闭和清除OS缓存情况下,3节点,总数7亿,1亿row/shard,hits3百万/shard,返回300记录8S。
查询要求 2000次/分钟
分类上一篇:无,已是最新文章    分类下一篇:

Leave a Reply