StarRocks冷热分区实战：用SSD+HDD混搭，把数据存储成本降下来

StarRocks冷热分区实战：用SSD+HDD混搭架构实现存储成本优化

大数据时代，存储成本已经成为企业不可忽视的支出项。我们团队最近在金融风控系统中部署StarRocks时，发现了一个有趣的现象：80%的查询集中在最近3个月的数据上，而历史数据虽然占据70%的存储空间，访问频率却不足5%。这种典型的"二八分布"让我们开始思考——为什么要把所有数据都放在昂贵的SSD上？

1. 冷热数据分离的架构价值

在传统架构中，我们往往采用"一刀切"的存储策略，要么全部使用SSD追求性能，要么全部使用HDD节省成本。这两种极端方案都存在明显缺陷：

• 全SSD方案：每TB成本约3000元，对于PB级数据仓库，年存储成本可能高达数百万
• 全HDD方案：虽然每TB成本仅500元左右，但查询延迟可能增加3-5倍，影响业务决策效率

StarRocks的冷热分区功能提供了第三种选择——智能分层存储。通过我们的压力测试，混合架构可以实现：

实际测试环境：10节点集群，单节点配置128GB内存+8TB SSD/16TB HDD，查询负载为混合OLAP场景

这种架构的核心优势在于动态平衡——系统会根据数据访问模式自动调整存储位置，无需人工干预。我们在电商大促场景中就尝到了甜头：活动期间的热门商品数据自动保留在SSD，活动结束两周后逐渐迁移到HDD，整个过程完全自动化。

2. 冷热分区实施方案详解

2.1 存储介质规划

在部署前需要明确硬件配置策略。我们推荐采用以下配置原则：

1. SSD容量规划：根据业务高峰期的热数据量确定，通常为总数据量的20-30%
2. HDD容量规划：建议预留2-3倍SSD容量，用于冷数据存储和历史归档
3. BE节点配置：每个节点应同时配备SSD和HDD，避免出现纯SSD或纯HDD节点

配置示例（be.conf）：

storage_root_path = /data1/starrocks;/data2/starrocks # /data1 为SSD挂载点，/data2为HDD挂载点

2.2 表分区策略设计

合理的分区设计是冷热分离成功的关键。我们总结出三个设计要点：

• 时间维度优先：90%的场景中，时间是最有效的冷热划分依据
• 分区粒度适中：日分区适合高频更新场景，周/月分区适合分析型场景
• 保留合理重叠：热分区应包含完整业务周期（如最近3个月）

创建冷热分区表示例：

CREATE TABLE user_behavior ( dt DATE, user_id BIGINT, item_id BIGINT, behavior_type VARCHAR(10) ) PARTITION BY RANGE(dt) ( PARTITION p202301 VALUES LESS THAN ('2023-02-01') STORAGE MEDIUM HDD, PARTITION p202302 VALUES LESS THAN ('2023-03-01') STORAGE MEDIUM HDD, PARTITION p202303 VALUES LESS THAN ('2023-04-01') STORAGE MEDIUM SSD COOLDOWN TIME '7 days', PARTITION p202304 VALUES LESS THAN ('2023-05-01') STORAGE MEDIUM SSD COOLDOWN TIME '7 days' ) DISTRIBUTED BY HASH(user_id);

2.3 冷却时间调优

冷却时间（COOLDOWN TIME）的设置需要平衡成本和性能：

• 设置过短：数据过早降冷，可能导致频繁从HDD读取，影响查询性能
• 设置过长：SSD空间无法及时释放，降低存储利用率

我们通过A/B测试得出的经验值：

动态调整冷却时间的命令：

ALTER TABLE user_behavior MODIFY PARTITION p202304 SET ("storage_cooldown_time" = "30 days");

3. 运维监控与成本评估

3.1 存储状态监控

通过以下命令实时掌握存储分布情况：

-- 查看分区存储介质 SHOW PARTITIONS FROM user_behavior; -- 查看各介质存储用量 SELECT storage_medium, SUM(data_size)/1024/1024/1024 AS size_gb FROM information_schema.partitions WHERE table_name = 'user_behavior' GROUP BY storage_medium;

我们团队开发的监控看板包含以下关键指标：

1. SSD使用率：超过80%需要预警
2. 冷热数据比例：健康范围是热数据占20-40%
3. HDD查询占比：超过30%可能需要调整冷却策略

3.2 成本效益分析

以一个实际客户案例说明成本节约效果：

背景：电商用户画像系统，总数据量50TB，年增长20TB

成本计算依据：

• SSD价格：3000元/TB/年
• HDD价格：500元/TB/年
• 冷热分区假设：30%热数据(SSD) + 70%冷数据(HDD)

4. 高级优化技巧

4.1 冷数据压缩优化

HDD上的冷数据可以采用更高压缩比的算法：

ALTER TABLE user_behavior MODIFY PARTITION p202301 SET ("storage_format" = "zstd");

压缩效果对比（基于实际测试数据）：

提示：对超过1年未访问的极冷数据，可考虑转存到对象存储进一步降低成本

4.2 热点数据预判

通过分析查询模式预测热点：

-- 识别高频访问分区 SELECT partition_name, COUNT(*) AS query_count FROM starrocks.query_logs WHERE table_name = 'user_behavior' GROUP BY partition_name ORDER BY query_count DESC LIMIT 10;

我们在物流系统中实现的智能预热策略：

1. 大促前3天，将相关商品分区手动设置为热数据
2. 节假日期间，自动延长特定类目的冷却时间
3. 对VIP用户的历史数据保持SSD存储

4.3 混合存储性能调优

针对HDD查询的优化配置（be.conf）：

# 增加HDD的IO队列深度 disk_io_queue_depth = 16 # 调整冷数据扫描并发 cold_storage_scan_thread_num = 8

实际项目中，通过这些优化我们将HDD查询性能提升了40%，P99延迟从1200ms降低到700ms。关键是要理解HDD的随机IO性能瓶颈，通过增大预读、合并小IO等技术手段弥补介质缺陷。