news 2026/7/21 17:29:24

ceph中的crush map

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
ceph中的crush map

当集群系统变得复杂时,我们往往需要多种策略来存放不同类型的数据;例如,将热数据存放于SSD中,而将冷数据放在HDD中。CRUSH rule就是定义了一种选择策略,Ceph中每个逻辑池都必须对应一条合法的rule才能正常工作。还是以上面链接中的crushmap为例,分析一下rule的具体含义。

1rule replicated_ruleset{2ruleset03typereplicated4min_size15max_size106step take default7step chooseleaf firstn0typehost8step emit9}
  • Line 1-2: rule的名称和编号
  • Line 3: rule类型;replicated代表适用于副本池,erasure代表适用于EC池
  • Line 4-5: rule适用的池size大小;本例表示1副本到10副本的池均可采用此条rule
  • Line 6-9: 具体的选择步骤
    • take: 直接选中一项item,一般用于指定选择算法的起点;本例中名为default的root类型bucket即为起点
    • chooseleaf firstn 0 type host: 选择策略,这个是重点,后面细述
    • emit: 返回结果

<1>: choose/chooseleaf

  • choose表示选择结果类型为故障域(由<4>指定)
  • chooseleaf表示在确定故障域后,还必须选出该域下面的OSD节点(即leaf)

<2>: firstn/indep

  • firstn: 适用于副本池,选择结果中rep(replica,指一份副本或者EC中的一个分块,下同)位置无明显意义
  • indep: 适用于EC池,选择结果中rep位置不可随意变动

举例来说,副本池中每份副本保存的是完全相同的数据,因此选择结果为[0, 1, 2](数字代表OSD编号)与[0, 2, 1]并无大的不同。但是EC池不一样,在2+1的配比下前两份是数据块,最后一份是校验块,后两份rep位置一交换就会导致数据出错。

<3>: num_reps

这个整数值指定需要选择的rep数目,可以是正值负值或0。

  • 正整数值即代表要选择的副本数,非常直观
  • 0表示的是与实际逻辑池的size相等;也就是说,如果2副本池用了这个rule,0就代表了2;如果3副本池用了此rule,0就相当于3
  • 负整数值代表与实际逻辑池size的差值;如果3副本池使用此rule将该值设为了-1,那边该策略只会选择出2个reps

<4>: failure domain

指定故障域类型;CRUSH确保同一故障域最多只会被选中一次。

step take default step choose firstn3typehost step choose firstn1typeosd step emit

新增的一步会在上述基础上,再以每个选中的host为起点,在host下选择1个OSD。另一个更方便的方案是:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/21 7:59:23

15、Awk编程:表达式、系统变量与实际应用

Awk编程:表达式、系统变量与实际应用 1. 表达式基础 在编程中,表达式用于存储、操作和检索数据。与 sed 不同,表达式是大多数编程语言的常见特性。表达式经过计算后会返回一个值,它由数字和字符串常量、变量、运算符、函数和正则表达式组合而成。 1.1 常量 常量有两种…

作者头像 李华
网站建设 2026/7/21 11:48:01

客厅大屏上网新体验:TV-Bro智能电视浏览器深度解析

客厅大屏上网新体验&#xff1a;TV-Bro智能电视浏览器深度解析 【免费下载链接】tv-bro Simple web browser for android optimized to use with TV remote 项目地址: https://gitcode.com/gh_mirrors/tv/tv-bro 你是否曾在客厅沙发上&#xff0c;手握遥控器却对电视上网…

作者头像 李华
网站建设 2026/7/21 2:04:54

AquaAI水系统遥感智能监测技术暨60个案例覆盖多源数据处理、水体动态监测、水质AI反演与预警系统开发

随着全球水资源日益紧缺与水环境问题日益严峻&#xff0c;传统的水体监测方法已难以满足大范围、高时效、精细化的管理需求。遥感技术凭借其覆盖广、周期短、信息丰富的优势&#xff0c;正逐渐成为水环境监测的核心手段。然而&#xff0c;面对海量多源的遥感数据&#xff0c;如…

作者头像 李华
网站建设 2026/7/19 13:50:34

Kotaemon营养搭配助手:膳食均衡分析

Kotaemon营养搭配助手&#xff1a;膳食均衡分析 在健康管理日益智能化的今天&#xff0c;人们不再满足于“少吃多动”这类泛泛而谈的建议。面对糖尿病饮食控制、孕期营养补充、健身增肌食谱等具体需求&#xff0c;用户渴望的是有依据、可信赖、个性化的科学指导。然而&#xff…

作者头像 李华
网站建设 2026/7/20 13:39:01

5分钟零基础玩转GPT2-Chinese:中文AI写作的超级入门指南

5分钟零基础玩转GPT2-Chinese&#xff1a;中文AI写作的超级入门指南 【免费下载链接】GPT2-Chinese Chinese version of GPT2 training code, using BERT tokenizer. 项目地址: https://gitcode.com/gh_mirrors/gp/GPT2-Chinese 还在为中文写作发愁吗&#xff1f;想要体…

作者头像 李华
网站建设 2026/7/20 21:02:00

Kotaemon如何处理长上下文记忆问题?这里有答案

Kotaemon如何处理长上下文记忆问题&#xff1f;这里有答案 在智能客服、虚拟助手和企业级对话系统日益普及的今天&#xff0c;一个核心挑战始终困扰着开发者&#xff1a;如何让AI真正“记住”用户之前说过的话&#xff0c;并在多轮交互中保持逻辑连贯&#xff1f; 我们都有过这…

作者头像 李华