MongoDB 7.0集群部署

环境描述：

OS：CentOS Linux release 7.9.2009

MongoDB：mongodb-linux-x86_64-rhel70-7.0.11

mongodb-database-tools：mongodb-database-tools-rhel70-x86_64-100.9.5

mongosh：mongosh-2.2.9-linux-x64

MongoDB Compass：    mongodb-compass-1.43.1-win32-x64.exe

 

服务器规划：

主机名	IP地址	Mongos Server组件端口	Config Server组件端口	Shard Server组件端口
mongo-01	192.168.31.71	27017	27018	主节点：27019
				副本节点：27020
				仲裁节点：27021
mongo-02	192.168.31.72	27017	27018	仲裁节点：27019
				主节点：27020
				副本节点：27021
mongo-03	192.168.31.73	27017	27018	副本节点：27019
				仲裁节点：27020
				主节点：27021

 

有偿按月提供高配置云服务器，仅供学习使用，需要请留言

逻辑示意图：

各组件功能说明：

• Mongos Server
  数据库集群请求的入口，所有请求都通过mongos server进行协调，不需在应用程序添加路由选择器，mongos server自己就是一个请求分发中心，它负责把数据请求请求转发到对应的shard服务器上。
  在生产环境通常需要设置多mongos server作为请求入口，防止其中一个挂掉所有的mongodb请求都没法操作。

  ---

• Config Server
  配置服务器，存储所有数据库元信息（路由、分片）的配置。
  mongos server本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。
  mongos server第一次启动或者关掉重启就会从config server加载配置信息，以后如果配置服务器信息变化会通知到所有的mongos server更新自己的状态，这样mongos server就能继续准确路由。
  在生产环境中通常需要设置多个config server，因为它存储了分片路由的元数据，防止单点数据丢失。

  ---

• Shard Server
  分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。
  将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。
  基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。

  ---

• 主节点（Primary）
  在复制集中，最多只能拥有一个主节点，主节点是唯一能够接收写请求的节点。
  MongoDB在主节点进行写操作，并将这些操作记录到主节点的oplog中。
  而副节点将会从oplog复制到其本机，并将这些操作应用到自己的数据集上。

  ---

• 副本节点（Secondary）
  副本节点通过应用主节点传来的数据变动操作来保持其数据集与主节点一致。
  副本节点也可以通过增加额外参数配置来对应特殊需求。
  例如，副本节点可以是non-voting或是priority 0

  ---

• 仲裁节点（Arbiter）
  仲裁节点即投票节点，其本身并不包含数据集，且也无法晋升为主节点。
  但是，一旦当前的主节点不可用时，投票节点就会参与到新的主节点选举的投票中。
  仲裁节点使用最小的资源并且不要求单独的硬件设备。
  投票节点的存在使得复制集可以以偶数个节点存在，而无需为复制集再新增节点。
  在生产环境中不要将投票节点运行在复制集的主节点或副本节点机器上。
  投票节点与其他复制集节点的交流仅有：选举过程中的投票，心跳检测和配置数据，这些交互都是不加密的。

  ---

一、各MongoDB节点基础配置（在MongoDB所有节点执行）

1. 配置hosts

192.168.31.71   mongo-01
192.168.31.72   mongo-02
192.168.31.73   mongo-03

2. 更新系统包并安装依赖包

yum -y update

sudo yum install libcurl openssl xz-libs

3. 设置ulimit进程资源限制参数

cat >> /etc/security/limits.conf << EOF
mongodb soft nproc 65535
mongodb hard nproc 65535
mongodb soft nofile 81920
mongodb hard nofile 81920
EOF

4. 免密登录，三台机器都执行

ssh-keygen -t rsa
ssh-copy-id 192.168.31.71
ssh-copy-id 192.168.31.72
ssh-copy-id 192.168.31.73

5. 新增mongodb用户

groupadd mongodb
useradd -g mongodb -G mongodb mongodb -M

设置mongodb用户密码为123456
echo "123456" | passwd mongodb --stdin

6.  设置sudoers

vi /etc/sudoers
在107行后添加
%mongodb  ALL=(ALL)  NOPASSWD: ALL

7. 创建MongoDB工作目录

mkdir -p /opt/mongo7.0/{logs,yaml,data,pki,bin,pidfile} 
mkdir /opt/mongo7.0/data/{config_svr,shard-1,shard-2,shard-3}
mkdir /opt/mongo7.0/logs/{mongos,config_svr,shard-1,shard-2,shard-3}

# tree /opt/mongo7.0/
/opt/mongo7.0/
├── bin
├── data
│   ├── config_svr
│   ├── shard-1
│   ├── shard-2
│   └── shard-3
├── logs
│   ├── config_svr
│   ├── mongos
│   ├── shard-1
│   ├── shard-2
│   └── shard-3
├── pki
├── pidfile
└── yaml

8. 释放所有MongoDB二进制可执行文件

先在mongo-01上执行
tar -xf mongodb-linux-x86_64-rhel70-7.0.11.tgz
cp mongodb-linux-*/bin/* /opt/mongo7.0/bin/

tar -xf mongodb-database-tools-rhel70-x86_64-100.9.5.tgz
cp mongodb-database-tools-*/bin/* /opt/mongo7.0/bin/

tar -xf mongosh-2.2.9-linux-x64.tgz
cp mongosh-*/bin/* /opt/mongo7.0/bin/

同步到其他mongo节点
scp /opt/mongo7.0/bin/* root@mongo-02:/opt/mongo7.0/bin/
scp /opt/mongo7.0/bin/* root@mongo-03:/opt/mongo7.0/bin/

9.  添加MongoDB环境变量

vi /etc/profile.d/mongodb.sh
export MONGODB_HOME=/opt/mongo7.0
export PATH=$MONGODB_HOME/bin:$PATH

source /etc/profile

# mongod --version
db version v7.0.11
Build Info: {
"version": "7.0.11",
"gitVersion": "f451220f0df2b9dfe073f1521837f8ec5c208a8c",
  "openSSLVersion": "OpenSSL 1.0.1e-fips 11 Feb 2013",
  "modules": [],
  "allocator": "tcmalloc",
  "environment": {
    "distmod": "rhel70",
    "distarch": "x86_64",
    "target_arch": "x86_64"
  }
}

二、生成mongo-keyfile认证文件 

1. 在mongo-01节点上执行

openssl rand -base64 600 > ${MONGODB_HOME}/pki/mongo.keyfile

2. 将mongo.keyfile拷贝至其他mongodb节点

scp ${MONGODB_HOME}/pki/mongo.keyfile root@mongo-02:/${MONGODB_HOME}/pki
scp ${MONGODB_HOME}/pki/mongo.keyfile root@mongo-03:/${MONGODB_HOME}/pki

3. 给mongodb各文件和目录赋权

chown -R mongodb:mongodb ${MONGODB_HOME}
chmod 400 ${MONGODB_HOME}/pki/mongo.keyfile

ssh root@mongo-02 "chown -R mongodb:mongodb ${MONGODB_HOME}"
ssh root@mongo-03 "chown -R mongodb:mongodb ${MONGODB_HOME}"

ssh root@mongo-02 "chown mongodb:mongodb /var/run/mongodb"
ssh root@mongo-03 "chown mongodb:mongodb /var/run/mongodb"

ssh root@mongo-02 "chmod 400 ${MONGODB_HOME}/pki/mongo.keyfile"
ssh root@mongo-03 "chmod 400 ${MONGODB_HOME}/pki/mongo.keyfile"

三、创建Config Server组件集群

1. 在mongo-01节点创建config_svr.yml

cat > ${MONGODB_HOME}/yaml/config_svr.yml << EOF
processManagement:
  fork: true
  pidFilePath: ${MONGODB_HOME}/pidfile/config_svr.pid
net:
  bindIpAll: true
  port: 27018
  ipv6: true
  maxIncomingConnections: 20000
storage:
  dbPath: ${MONGODB_HOME}/data/config_svr
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
systemLog:
  destination: file
  path: ${MONGODB_HOME}/logs/config_svr/config_svr.log
  logAppend: true
sharding:
  clusterRole: configsvr
replication:
  oplogSizeMB: 1000
  replSetName: configsvr_rs
security:
  authorization: enabled
  keyFile: ${MONGODB_HOME}/pki/mongo.keyfile
  clusterAuthMode: keyFile
setParameter:
  connPoolMaxConnsPerHost: 20000
EOF

注：初始配置时先使用#注释掉这四行，待完成整个集群配置后再开启

security:
authorization: enabled
keyFile: /opt/mongo7.0/pki/mongo.keyfile
clusterAuthMode: keyFile

2. 将config_srv.yml拷贝至其他mogodb节点并赋权

scp ${MONGODB_HOME}/yaml/config_svr.yml root@mongo-02:${MONGODB_HOME}/yaml/
scp ${MONGODB_HOME}/yaml/config_svr.yml root@mongo-03:${MONGODB_HOME}/yaml/

ssh root@mongo-02 "chown mongodb:mongodb ${MONGODB_HOME}/yaml/config_svr.yml"
ssh root@mongo-03 "chown mongodb:mongodb ${MONGODB_HOME}/yaml/config_svr.yml"

3. 1 创建Config Server启动文件

cat > /usr/lib/systemd/system/mongodb-config.service << EOF
[Unit]
Description=MongoDB Config Server
After=network.target

[Service]
Type=forking
User=mongodb
Group=mongodb
PIDFile=/opt/mongo7.0/pidfile/config_svr.pid
ExecStart=/opt/mongo7.0/bin/mongod --config /opt/mongo7.0/yaml/config_svr.yml
ExecStop=/opt/mongo7.0/bin/mongod --shutdown --config /opt/mongo7.0/yaml/config_svr.yml

[Install]
WantedBy=multi-user.target
EOF

3.2  Config Server启动文件拷贝到其他Config Server节点

scp /usr/lib/systemd/system/mongodb-config.service root@mongo-02:/usr/lib/systemd/system
scp /usr/lib/systemd/system/mongodb-config.service root@mongo-03:/usr/lib/systemd/system

4.  在Config Server各节点启动Config Server服务

systemctl daemon-reload
systemctl enable mongodb-config.service

su - mongodb
sudo systemctl start mongodb-config.service
sudo systemctl status mongodb-config.service

$ sudo ss -lntp
State            Recv-Q           Send-Q                     Local Address:Port                      Peer Address:Port          Process                                      
LISTEN           0                128                              0.0.0.0:27018                          0.0.0.0:*              users:(("mongod",pid=2983,fd=15))           
LISTEN           0                128                              0.0.0.0:22                             0.0.0.0:*              users:(("sshd",pid=813,fd=3))               
LISTEN           0                128                                 [::]:27018                             [::]:*              users:(("mongod",pid=2983,fd=16))           
LISTEN           0                128                                 [::]:22                                [::]:*              users:(("sshd",pid=813,fd=4))