由 dawei
Rsync 简介
rsync 是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作系统平台。
ASP站长网传统的 scp 和 cp 工具拷贝每次均为完整拷贝，而rsync除了可以完整拷贝外，还具备增量拷贝功能。因此，从同步数据的性能及效率上，Rsync工具更胜一筹。
官网地址：
https://download.samba.org/pub/rsync/rsync.html
# 或者
https://www.samba.org/ftp/rsync/rsync.html
版本查看
[yun@backup ~]$ rsync --version
rsync version 3.1.2 protocol version 31
Copyright (C) 1996-2015 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,
socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
append, ACLs, xattrs, iconv, symtimes, prealloc
rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you
are welcome to redistribute it under certain conditions. See the GNU
General Public Licence for details.
Rsync 增量复制的原理
Rsync 通过 “quick check” 算法 (默认情况) 找到要传输的文件，该算法会查找大小已改变或最后修改时间已改变的文件。
当 “quick check” 指示不需要更新文件的数据 (即：文件的内容) 时，会直接在目标文件上更改其他属性（如权限信息、属主属组信息、时间戳信息）「根据相应的选项参数」。
rsync2.x对比方法，把所有文件比对一遍，然后进行同步。
rsync3.x对比方法，一边比对差异，一边对差异的部分进行同步。
Rsync 软件功能介绍
rsync == cp
1 # 拷贝 /etc/rpm 目录
2 [root@back ~]# cp -a /etc/rpm /tmp/
3 # 等价于
4 [root@back ~]# rsync -a /etc/rpm /tmp/
注意：cp -a 的参数意义和 rsync -a 的参数意义不一样。
rsync == scp
1 [yun@back tmp]$ scp -pr yun@172.16.1.182:/etc/xml /tmp/
2 # 等价于
3 [yun@back tmp]$ rsync -pr yun@172.16.1.182:/etc/xml /tmp/
rsync == rm
删除 /tmp/yum/ 目录下的所有文件和目录。【千万不要搞错目录】
1 [yun@back tmp]$ rm -fr /tmp/yum/*
2 # 等价于
3 [yun@back tmp]$ rsync -r --delete /tmp/zhang/ /tmp/yum/
其中 /tmp/zhang/ 目录下无任何文件
rsync == ls -l
1 [yun@backup tmp]$ ls -l /tmp/xml/catalog
2 -rw-r--r-- 1 yun yun 1171 Sep 18 16:08 /tmp/xml/catalog
3 # 类似于
4 [yun@backup tmp]$ rsync /tmp/xml/catalog
5 -rw-r--r-- 1,171 2019/09/18 16:08:41 catalog
Rsync 特性介绍
1、支持拷贝特殊文件。如链接文件、设备等。
2、可以排除指定文件或目录的同步功能，相当于打包tar的排除功能。
3、可以做到保持源文件或目录的权限、时间、软链接、属主、属组等所有属性均不改变。
4、可实现增量同步。既只同步发生变化的数据，因此传输效率很高，tar -N。
5、可以使用 rcp、rsh、ssh 等方式来配合传输文件（rsync本身不对数据加密）。
6、可以通过socket（进程方式）传输文件和数据（服务端和客户端）【重点掌握】。
7、支持匿名或认证（无需系统用户）的进程传输，可以实现方便安全的进行数据备份及镜像。
Rsync 运用场景
数据备份
使用方式：cron + rsync 比如数据库备份，除了本地需要备份外，还需要通过 rsync 在专门的备份服务器上备份一份。
实时同步
使用方式：rsync + inotify 或 sersync 比如为了缓解服务器压力，我们需要将用户上传的图片放在多台服务器上【如果没有上 CDN】，这样高并发访问的时候可以分发到多台机器，减轻服务器压力。
又比如敏感数据不能丢失，那必须做实时备份。
Rsync 使用说明
Rsync 传输方式分三种
1、单个主机本地内部之间的数据传输（此时类似于 cp 的功能）
2、借助rcp，ssh等通道来传输数据（此时类似于 scp 的功能）
3、以守护进程方式传输数据（rsync 自身的重要功能）
# 本地数据同步方式
Local: rsync [OPTION...] SRC... [DEST]
# 远程数据同步方式
Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
# 守护进程方式同步数据
Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
源目录后面无 “/“ 和有 “/“ 的区别
将 /etc/yum 目录复制到 /tmp/zhang/ 目录下。
1 # 源目录后面无 "/"
2 [yun@backup ~]$ rsync -avz /etc/yum /tmp/zhang/
3 [yun@backup ~]$ ll /tmp/zhang/
4 total 0
5 drwxr-xr-x 6 yun yun 100 Nov 14 2018 yum
将 /etc/yum/ 目录下的所有文件和目录，复制到 /tmp/zhang/ 目录下。
# 源目录后面有 "/"
[yun@backup ~]$ rsync -avz /etc/yum/ /tmp/zhang/
[yun@backup ~]$ ll /tmp/zhang/
total 4
drwxr-xr-x 2 yun yun 6 Apr 13 2018 fssnap.d
drwxr-xr-x 2 yun yun 54 Nov 14 2018 pluginconf.d
drwxr-xr-x 2 yun yun 26 Nov 14 2018 protected.d
drwxr-xr-x 2 yun yun 37 Apr 13 2018 vars
-rw-r--r-- 1 yun yun 444 Apr 13 2018 version-groups.conf
常用参数说明
参数 参数说明
-v, --verbose 显示传输了哪些文件 ★★★★★
-z, --compress 传输时进行压缩以提高传输效率，--compress-level=NUM 指定加压缩级别。★★★★★
-P, --progress 显示同步的过程及传输时进度等信息 ★★★★★
-a, --archive 归档模式，表示以递归方式传输文件，并保持文件属性。等价于 -rlptgoD ★★★★★
-r, --recursive 对子目录以递归模式，即目录下的所有目录都同样传输【归档于-a】
-t, --times 保持文件时间信息【归档于-a】
-o, --owner 保持文件属主信息【归档于-a】
-g, --group 保持文件属组信息【归档于-a】
-p, --perms 保持文件权限信息【归档于-a】
-D, --devieves 保持设备文件信息【归档于-a】
-l, --linkd 保持软链接信息【归档于-a】
-L, --copy-links 如果是链接文件那么转为源文件复制【复制软连接的源文件】
-e, --rsh=COMMAND 使用信道协议，指定替代rsh的shell程序
--exclude=PATTERN 指出哪些文件或目录不需要传输，支持通配符
--exclude-from=FILE 在 FILE 文件中指定哪些文件或目录不需要传输
--include=PATTERN 指出哪些文件或目录不被排除要传输，支持通配符；通常配合 --exclude 或 --exclude-from 使用
--include-from=FILE 在 FILE 文件中指定哪些文件或目录不被排除需要传输；通常配合 --exclude 或 --exclude-from 使用
--bwlimit=RATE 限速 限制I / O带宽；K字节每秒
--delete 让目标DEST目录与SRC目录数据一致 【慎用】
部分参数示例说明
# --exclude=PATTERN 示例
[yun@backup tmp]$ rsync -avz --exclude=systemd.conf /etc/yum /tmp/zhang01
# 或者
[yun@backup tmp]$ rsync -avz --exclude=systemd.* /etc/yum /tmp/zhang01
# 或者 多个条件使用多个 --exclude=PATTERN
[yun@backup tmp]$ rsync -avz --exclude=systemd.conf --exclude=fastestmirror.conf /etc/yum /tmp/zhang05
# --exclude-from=FILE 示例
[yun@backup tmp]$ cat exclude.info
fastestmirror.conf
systemd.conf
vars
# 那么此时 fastestmirror.conf、systemd.conf 文件 和 vars 目录不会被拷贝
[yun@backup tmp]$ rsync -avz --exclude-from=exclude.info /etc/yum /tmp/zhang01
1 # --include=PATTERN 示例
2 ## 注意参数顺序：--include 或 --include-from 必须要在 --exclude 或 --exclude-from 之前
3 [yun@backup tmp]$ rsync -avz --include=systemd* --exclude=*.conf /etc/yum /tmp/zhang02
Rsync 本地模式实践
Local: rsync [OPTION...] SRC... [DEST]
示例如下：
rsync -avz /etc/yum /tmp/zhang01
Rsync 使用远程 SSH 通道实践
1 Access via remote shell:
2 Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
3 Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
拉取数据：将远程机器的数据复制到本地
[yun@backup ~]$ rsync -avzP -e 'ssh -p 22' yun@172.16.1.182:/etc/yum /tmp/zhang01
推送数据：将本地的数据复制到远程机器
[yun@backup ~]$ rsync -avzP -e 'ssh -p 22' /etc/yum yun@172.16.1.182:/tmp/zhang
Rsync daemon 服务模式实践
1 Access via rsync daemon:
2 Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
3 rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
4 Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
5 rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
使用规划
1、backup 服务器作为 rsync 服务端
2、以 ansi-haproxy02 作为客户端，进行数据推拉。
rsync 服务端配置
系统环境信息
[yun@backup ~]$ cat /etc/RedHat-release
CentOS Linux release 7.5.1804 (Core)
[yun@backup ~]$ uname -a
Linux backup 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
[root@backup ~]# rpm -qa | grep 'rsync'
rsync-3.1.2-4.el7.x86_64
[yun@backup ~]$ rsync --version # 系统已默认安装，如果没有那自行安装下
rsync version 3.1.2 protocol version 31
Copyright (C) 1996-2015 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,
socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
append, ACLs, xattrs, iconv, symtimes, prealloc
rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you
are welcome to redistribute it under certain conditions. See the GNU
General Public Licence for details.
服务配置文件
注意：配置后面不要添加任何信息和空格，不然可能被解析，导致后续一系列问题。
[root@backup ~]# cat /etc/rsyncd.conf
# 备注：更多参数与更多详解，参见 man rsyncd.conf
#rsync_config---------------start
uid = root
gid = root
use chroot = false
max connections = 200
timeout = 100
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
ignore errors = true
read only = false
list = false
## 注意为了避免困惑 hosts allow 和 hosts deny 请二选其一
hosts allow = 172.16.1.0/24,10.9.0.0/16,120.27.48.179
# hosts deny = 10.0.0.0/16
# 支持多个认证账号
auth users = rsync_backup,rsync_db_back
secrets file = /etc/rsync.password
# 数据备份 注意 path 目录的权限信息
[back_data_module]
path = /backup/busi_data/
# 数据库备份 注意 path 目录的权限信息
[back_db_module]
path = /backup/database/
#rsync_config---------------end
配置文件详解
更多参数与详解，参见 man rsyncd.conf
# 备注：更多参数与更多详解，参见 man rsyncd.conf
# rsync_config---------------start
# 可以是其他用户
# 超级用户运行时的默认设置是切换到系统的“nobody”用户
# 如果配置为 root 用户，这时可以同步属主信息
# 非超级用户是不能同步属主信息的
uid = root # 其他主机通过 rsync 实现推拉时使用什么用户
# 可以是其他用户组
# 超级用户组运行时的默认设置是切换到系统的“nobody”用户组
# 如果配置为 root 用户组，这时可以同步属组信息
# 非超级用户组是不能同步属组信息的
gid = root # 其他主机通过 rsync 实现推拉时使用什么用户组
# 如果为 true，安全性更高，但软连接文件「可能」同步不了
# 这是 rsync 的一个安全配置，由于我们大多数都是内网使用，所以可以不配置。建议 false
use chroot = false
max connections = 200 # 最大连接数
timeout = 100 # 超时时间
pid file = /var/run/rsyncd.pid # 进程号文件
lock file = /var/run/rsync.lock # 锁文件，防止文件不一致
log file = /var/log/rsyncd.log # 日志文件
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 # 对哪些文件传输时不压缩【如果传输时我们指定了压缩参数】
ignore errors = true # 忽略错误
read only = false # 在服务端可读写
list = false # 不让列表，安全考虑
## 注意为了避免困惑 hosts allow 和 hosts deny 请二选其一
hosts allow = 172.16.1.0/24,10.9.0.0/16,120.27.48.179 # 可访问的网段或IP，多个使用逗号分隔；其他的都不可访问
# hosts deny = 10.0.0.0/16 # 不可访问的网段或IP，多个使用逗号分隔；其他的都可以访问
# 支持多个认证账号
auth users = rsync_backup,rsync_db_back # 其他主机连接时，校验的用户【虚拟用户】
secrets file = /etc/rsync.password # 虚拟用户账号及密码
# 数据备份 注意 path 目录的权限信息
[back_data_module]
path = /backup/busi_data/
# 数据库备份 注意 path 目录的权限信息
[back_db_module]
path = /backup/database/
# rsync_config---------------end
uid、gid 详解
当 rsync 服务端的 uid、gid 用的是 rsync 用户和用户组【或其他非超级用户、用户组】时，客户端同步时只能同步数据信息、权限信息、时间戳信息，但不能同步属主、属组信息。此时客户端若要同步的数据属主、属组，那么客户端数据的属主、属组必须也是 rsync【即客户端与服务端的 uid、gid 相同】；或者不要同步属主、属组信息。
如果需要把多个文件且属主、属组不同的属性信息也同步到 rsync 服务端，那么在 rsync 服务端的 uid、gid 配置都应该是 root。
use chroot 详解
use chroot = true
需要 root 权限，且 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下，然后再开始与客户端进行文件传输。
优点：可以提供额外的保护，防止可能的出现的安全漏洞
缺点：如果同步的数据有软连接，那么软连接「可能」同步不了