甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
CEPH分布式文件系统
CEPH是一种为优秀的性能，可靠性和可扩展性而设计的统一的，分布式文件系统。
CEPH可以轻松的扩展到数PB容量，支持多种工作负载的高性能，高可靠性。
CEPH四个部分：
Clients客户端：用来访问文件系统
CMDS元数据服务器：用来缓存和同步数据
COSD对象存储群集：用来构成存储池
CMON集群监视器：用来监视文件系统
CEPH是统一存储系统，支持三种接口：
Object：有原生的API，同时也兼容swift和S3的API。
Block：支持精简配置，快照，克隆。
File：Posixi接口，支持快照。
CEPH的特点：
高扩展性：使用普通的X86服务器，支持10~1000台服务器，支持1TB到PB级别的扩展。
高可靠性：没有单点故障，多数据副本，自动管理，自动修复。
高性能：数据分布均衡，并行化度高。
CEPH分布式文件系统架构：
归置组（PG）：可以理解为一个组，这个组里可以有多少个对象（文件数），归置组建立在存储池中。
存储池（POOL）：由多个OSD组成。
术语：
OSD：存储对象 | MON 监视器 | NODE：节点 | MDS：元数据服务器 |
CEPH安装与部署（网YUM版）：需要联网部署
v 环境需求：关闭防火墙，关闭SElinux，时间同步，修改主机名，修改HOSTS文件，SSH的支持，创建运行用户。
# systemctl stop firewalld #关闭防火墙
# setenforce 0 #关闭SELinux
# vi /etc/hosts #修改HOSTS文件
添加内容：
1.1.1.19 admin-node
1.1.1.20 node1
1.1.1.21 node2
# vi /etc/sysconfig/network #修改主机名
添加内容：
NETWORKING=yes
HOSTNAME=admin-node
# hostname admin-node #临时修改主机名
# yum -y install ntp ntpdate #部署NTP时间同步
# /etc/ntp.conf #使用自身时间搭建NTP服务器
添加内容：
server 127.127.1.0
fudge 127.127.1.0 stratum 8
# systemctl restart ntpd #重启NTP服务器
# ntpdate 1.1.1.19 #去NTP服务器同步时间
# timedatectl #查看时间
# useradd ceph
# echo 123 | passwd ceph --stdin #创建运行用户
#ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa #创建密钥对
# ssh-copy-id -i /root/ceph/.ssh/id_rsa.pub root@node1 #将公钥上传到node1
# ssh-copy-id -i /root/ceph/.ssh/id_rsa.pub root@node1 #将公钥上传到node2
# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys #导入公钥库
v 安装CEPH群集需求：每台服务器上都要部署YUM库，Deploy工具，EPEL源（需网络）
# mv CentOS-Base.repo /etc/yum.repos.d/ #将CenOS7默认备份YUM库还原
# mv ceph.repo /etc/yum.repos.d/ #将CEPH的REPO文件放置YUM库
# yum makecache #生成缓存
# yum -y install epel-release #安装EPEL源
# yum -y install ceph-deploy #安装CEPH-Deploy工具
# ceph-deploy new node1 #配置一个Mon（监视器）节点
注：会在所在位置生成三个配置文件。
#vi ceph.conf
osd_pool_default_size = 2 #修改OSD存储池默认副本数
注：如果有多张网卡还可以增加：public network = {ip-address}/{netmask}参数
# ceph-deploy install admin-node node1 node2 #安装CEPH到三个节点上
ceph-deploy purgedata admin-node node1 node2 | 安装出现问题可以使用这两条命令清空配置重新部署和安装 |
ceph-deploy forgetkeys |
v 初始化Mon监视器，并收集所有密钥
# ceph-deploy mon create-initial
v 创建硬盘（OSD）挂载目录
# ssh node1
# mkdir /var/local/osd0
# ssh node2
# mkdir /var/local/osd1
v 添加OSD和管理激活OSD
# ceph-deploy osd prepare node1:/var/local/osd0 node2:/var/local/osd1
# ceph-deploy osd activate node1:/var/local/osd0 node2:/var/local/osd1
v 创建管理用户
# ceph-deploy admin admin-node node1 node2
# chmod +r /etc/ceph/ceph.client.admin.keyring #确保keyring文件有读取权限
v 检查群集健康状况（部署完成）
# ceph health
v 通过SYSVINIT机制启动CEPH所有守护进程
# /etc/init.d/ceph -a start
注：SYSVINIT：字面意思是利用系统进程的方式运行。
v 创建CephFS文件系统：
# ceph osd pool create pool1 100 100 #默认需要新建两个存储池
# ceph osd pool create pool2 100 100
# ceph fs new ren pool1 pool2 #两个存储池组成一个文件系统
# ceph mds stat
v 挂载CephFS文件系统
# ceph auth list #查看认证密码列表
# mount -t ceph -o name=admin,secret="AQBs2U9Y54/vKRAAgPZxOf6lmbl522mkiJvXRA==" 1.1.1.20:6789:/ /opt #密码认证方式挂载CephFS文件系统
安装报错：
故障一：找不到EPEL源 解决方法：安装EPEL源# yum -y install epel-release（每台）
故障二：找不到CEPH安装包 解决方法：YUM库中写入CEPH安装包网YUM源路径
故障三：查看版本命令未找到 解决方法：手动安装CEPH：yum -y install ceph ceph-radosgw（每台）或者检查SSH的问题
CEPH分布式文件系统操作整合
命令 | 描述 |
ceph health | 查看群集健康状态 |
ceph status | 查看状态 |
ceph osd stat | 查看OSD状态 |
ceph osd dump | 查看OSD属性 |
ceph osd tree | 查看OSD树 |
ceph mon dump | 查看MON属性 |
ceph quorum_status | 查看配额状态 |
ceph mds stat | 查看MDS状态 |
ceph mds dump | 查看MDS转存 |
ceph osd lspools | 查看已存在的存储池 |
ceph osd pool getpool1 pg_num | 查看池归置组属性 |
ceph osd pool getpool1 pgp_num | 查看池归置组总数 |
ceph osd pool createpool1 100 100 | 创建一个存储池 |
ceph osd pool deletepool1 pool1 --yes-i-really-really-mean-it | 删除一个存储池 |
ceph osd pool renamepool1 pool2 | 重命名一个存储池 |
rados df | 查看存储池统计信息 |
ceph osd pool mksnappool1 poolkz1 | 存储池快照 |
ceph osd pool rmsnappool1 poolkz1 | 删除存储池快照 |
ceph osd pool setpool1 size2 | 设置对象副本数 |
ceph fs new renpool1 pool2 | 创建CephFS文件系统 |
注:pg：归置组 pgp：归置组总数
添加和删除OSD节点（OSD为存储对象） | |
ceph-deploy osd prepare node1:/var/local/osd2 | 添加OSD |
ceph-deploy osd activate node1:/var/local/osd2 | 激活OSD |
ceph -w | 查看OSD状态 |
Ceph osd tree | 查看OSD树 |
Ceph osd out osd.0 | 冻结将要移除的节点 |
Ceph stop osd.0 | 停止将要移除的节点进程 |
Ceph osd crush remove osd.0 | 从群集里移除节点信息 |
Ceph osd rm 0 | 移除节点 |
添加元数据服务器（MDS） | |
ceph-deploy mds create node1 | 添加MDS |
注：至少需要一个元数据服务器才能使用CephFS。
添加和删除监视器（MON） | |
ceph-deploy mon add node2 | 添加MON |
ceph quorum_status --format json-pretty | 检查法定人数状态 |
ceph -a stop mon.0 | 停止监视器进程 |
ceph mon remove mon.0 | 移除监视器 |
ssh node1 ceph stop mon || stop ceph-mon-all | 远程连接监视器，停止有关监视器的所有进程 |
添加对象网关（RGW） | |
ceph-deploy rgw create node1 | 添加RGW |
注：RGW默认监听7480端口。有关对象网关的使用请继续了解CEPH分布式文件系统。
CEPH对象网关的使用：http://docs.ceph.org.cn/install/install-ceph-gateway/
另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。