归档格局,rsync还是能够实现同台本地数据、删除文件和目录的成效

一、rsync简介

  • rsync是Linux系统下的数据镜像备份工具。可以在不同主机之间镜像同步整个目录树,支持增量备份,保持链接和权限,且采用优化的同步算法,在传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用。
  • rsync的官方站点为http:rsync.samba.org/

rsync介绍

二、使用rsync备份工具

rsync,英文全称是remote synchronize,是一款实现远程同步功能的免费软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件。甚至还可以实现只同步一个文件里有变化的内容部分,所以可以实现快速的同步备份数据。同时,rsync还可以实现同步本地数据、删除文件和目录的功能。

2.1、rsync命令的基本用法

  • 用法类似于cp命令,例如将文件/etc/fstab 和目录/boot/grub同步备份到.opt目录下,其中-r表示递归整个目录,-l选项用来备份链接文件。

rsync /etc/fstab /opt
rsync -rl /etc/fstab /boot/grub /opt

常用命令格式及备份选项:
-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关,强制对文件传输进行校验

-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-p, --perms 保持文件权限

-o, --owner 保持文件属主信息

-g, --group 保持文件属组信息

-z, --compress 对备份的文件在传输时进行压缩处理

-delete 删除那些DST中SRC没有的文件,保证两边文件同步对齐

  • 配置源的表示方法
  • 在执行远程同步时,rsync需要指定同步源服务器中的资源位置。

rsync同步资源的表示方式为 “用户名@主机地址::共享模块名”
或者,“rsync://用户名@主机地址/共享模块名”
前者为两个冒号分割形式,后者为URL地址形式,例如
执行以下操作将访问rsync同步源,并下载到本地/root目录下进行备份
[root@localhost~]# rsync -avz backuper@192.168.144.110::abc /root
或者
[root@localhost~]# rsync -avz rsync://backuper@192.168.144.110/abc /root

执行以下操作访问源服务器中的abc共享模块,并下载到本地的/opt目录下:
[root@localhost~]# rsync -avzH --delete backuper@192.168.144.110::abc /opt

实际生产环境中通常都是计划性重复执行的,为了在周期性计划任务中不用输入密码交互式执行,
需要创建一个密码文件,保存用户的密码,如/etc/server.pass,在执行rsync同步时使用选项
--password-file=/etc/server.pass,指定即可。

crontab -e
30 22 * * * /usr/bin/rsync --delete --password-file=/etc/server.pass backuperA@192.168.144.110::abc /opt  //每天22:30执行脚本
servevice crond restart
chkconfig crond on

inotify介绍

三、配置rsync+inotify实时同步

  • notify是一种强大的、细粒度的、异步的文件系统事件监控机制,Linux内核从2.6.13版本起,加入了对inotify的支持。通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件,利用这个内核接口,inotify-tools便可以监控文件系统下文件的各种变化情况了。

  • 查看内核版本

uname -r

Inotify 是一个 Linux 内核特性,它监控文件系统,并且及时向专门的应用程序发出相关的事件警告,比如删除、读、写和卸载操作等。您还可以跟踪活动的源头和目标等细节。

1、系统环境

主机 操作系统 IP地址 所需软件
rsync源服务器 CentOS 7.0 x86_64 192.168.144.110 rsync+inotify-tools-3.14.tar.gz
rsync备份服务器 CentOS 7.0 x86_64 192.168.144.120 rsync+inotify-tools-3.14.tar.gz

rsync+notify实现自动同步

2、软件安装

rpm -q rsync //查询rsync是否安装,一般为系统自带安装
yum install rsync -y //若没有安装,使用yum安装

  • 安装inotify软件包

tar zxzvf notify-tools-3.14.tar.gz -C /opt
cd /opt/inotify-tools-3.14
./configuer
make && make install

如果要实现定时同步数据,可以在客户端将rsync加入定时任务,但是定时任务的同步时间粒度并不能达到实时同步的要求。在Linux kernel 2.6.13后提供了inotify文件系统监控机制。通过rsync+inotify组合可以实现实时同步。

3、调整inotify内核参数

vim /etc/sysctl.conf

fs.inotify.max_queued_events = 16384    //监控事件队列数
fs.inotify.max_user_instances = 1024    //最多监控实例数
fs.inotify.max_user_watches = 1048576    //实例最多监控文件数

实验要求:

4、配置rsync源于备份服务器

vim /etc/rsyncd.conf

# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:
 uid = nobody                  //rsync服务uid
 gid = nobody                  //rsync服务gid
 use chroot = yes              //禁锢家目录
 pid file = /var/run/rsyncd.pid    //进程文件目录
address = 192.168.144.110      //源服务器监听地址         
port = 873                      //服务端口号
log file = /var/log/rsyncd.log  //指定日志文件位置
hosts allow = *                //允许任意网段服务器可与之同步
# max connections = 4          //最大链接数
# # exclude = lost+found/
# # transfer logging = yes
# # timeout = 900
# # ignore nonreadable = yes
# # dont compress  = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
#
# # [ftp]
# # path = /home/ftp
# # comment = ftp export area
#
#
 [abc]                  //共享模块名称,两台服务器可以不同
 path = /var/www/html  //共享模块路径,两台服务器可以不同
 comment = www.linuxidc.com  //模块描述,两台服务器可以不同 
 read only = no        //关闭只读权限,不写或者注释为默认选择只读
必发娱乐官网, write only = no        //关闭可写权限,不写或者注释为默认选择不可写
 uid = root            //指定模块uid
 gid = root            //指定模块gid
 hosts allow = *        //允许任意网段服务器访问此模块
 auth users=test        //模块访问验证用户名称
 secrets file = /etc/rsyncd_users.db        //模块验证密码文件,键值对形式
 dont compress  = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2  //同步过程中遇到此类文件不进行压缩

  • 此处需要注意,上述配置文件中,备份服务器的配置需要和源服务器一模一样,除了备份服务器的否则在源服务器上行文件时会报错。尤其是密码文件权限和独立密码文件权限需要为600,否则也会报错。

  • 启动服务

rsync --daemon

  • 结束服务,kill进程即可。

源服务器:192.168.177.132(rsync,httpd)

4.1、创建账户验证文件

  • 根据配置文件中,按需创建,注意文件路径与名称。

vim /etc/rsyncd_users.db

test:abc123    //"用户名:密码"的形式

chmod 600 /etc/rsyncd_users.db

  • 由于这种形式在执行命令时需要交互式验证,因此需要创建独立密码验证文件。

发起端:192.168.177.132(rsync,httpd,inotify-tools)

4.2、创建独立密码文件

vim /etc/server.pass

abc123    //只含密码的文件

chmod 600 /etc/server.pass

源服务器

4.3、编写触发式同步脚本

vim /opt/ino.sh

#!/bin/bash
DESIP=192.168.144.120    //设置源服务器需要将文件上行(发送)到备份服务器IP地址
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ test@$DESIP::abc/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -gt 0 ] ; then
        $RSYNC_CMD
    fi
done

  • 此处需要注意,在两台服务器需要同步的目录之间,也需要将目录权限放到最大,避免因目录本身权限报错。

chmod +x /opt/ino.sh

# rpm -q rsync  //查看rsync有没有安装
# vim /etc/rsyncd.conf  //rsync的配置文件

4.4、源服务器端测试

  • 执行脚本后,当前终端会变成实时监控界面,需要重新打开终端操作。
  • 在源服务器端共享模块目录下进行文件操作,然后去备份服务器下,可观察到文件已经被实时同步。

更多rsync相关教程见以下内容:

CentOS 6.5 rsync+inotify实现数据实时同步备份
rsync+inotify实现数据的实时同步
rsync+inotify实现服务器之间文件实时同步详解 
Rsync结合Inotify 实时同步配置 
RSync实现数据备份 
inotify+rsync实现数据实时同步 
rsync+inotify实现数据的实时备份 
rsync+inotify实现数据自动同步 
使用rsync实现数据实时同步备份 
unison+inotify实现数据实时双向同步 

Linux公社的RSS地址:

本文永久更新链接地址

必发娱乐官网 1

 uid = nobody
 gid = nobody
 use chroot = yes
 address = 192.168.177.132
 port 873
 log file = /var/log/rsyncd.log
 pid file = /var/run/rsyncd.pid
 hosts allow = 192.168.177.0/24

 [wwwroot]
 path = /var/www/html
 comment = www.kgc.cn
 read only = yes
 dont compress  = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
 auth users = backuper
 secrets file = /etc/rsyncd_users.db
# vim /etc/rsyncd_users.db
  backuper:abc123  //账号跟密码的格式
# chmod 600 /etc/rsyncd_users.db
# yum install httpd -y  //安装web服务
# rsync --daemon  //启动rsync服务
# systemctl stop firewalld.service  //关闭防火墙
# setenforce 0  //增强性安全功能
# chmod 777 /var/www/html/
# cd /var/www/html
# echo "this is test" > 123.txt

必发娱乐官网 2

必发娱乐官网 3

必发娱乐官网 4

必发娱乐官网 5

发起端

# systemctl stop firewalld.service
# setenforce 0  //必须先关闭防火墙
交互,输入的是源服务器的地址
# rsync -avz backuper@192.168.177.132::wwwroot /opt/ 
免交互,无需输入密码
# vim /etc/server.pass
# chmod 600 /etc/server.pass
# rsync -az --delete --password-file=/etc/server.pass backuper@192.168.177.132::wwwroot /opt

必发娱乐官网 6

rsync+inotify自动同步

inotify装在发起端

rsync在源服务器上

源服务器:
# vim /etc/rsyncd.conf
  read only = no
# pkill -9 rsync
# cd /var/run/
# rm -rf rsyncd.pid //删除pid进程
# rsync --daemon  //重启服务
发起端:
# chmod 777 /var/www/html/
# tar zxvf inotify-tools-3.14.tar.gz -C /opt //解压
# cd inotify-tools-3.14/
  ./configure
# yum install gcc gcc-c++ -y  //安装编译环境
# make && make install
# vim /etc/sysctl.conf  //进行优化
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
# sysctl -p  //立即生效
# inotifywait -mrq -e modify,create,move,delete /var/www/html/  //对站点进行监控
# vim /opt/inotify.sh  //编写能同步的脚本
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.177.132::wwwroot/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done
# chmod +x inotify.sh
# ./inotify.sh

必发娱乐官网 7

必发娱乐官网 8

必发娱乐官网 9

必发娱乐官网 10

CentOS 6.5 rsync+inotify实现数据实时同步备份
rsync+inotify实现数据的实时同步
rsync+inotify实现服务器之间文件实时同步详解 
Rsync结合Inotify 实时同步配置 
RSync实现数据备份 
inotify+rsync实现数据实时同步 
rsync+inotify实现数据的实时备份 
rsync+inotify实现数据自动同步 
使用rsync实现数据实时同步备份 
unison+inotify实现数据实时双向同步 

Linux公社的RSS地址:

本文永久更新链接地址

必发娱乐官网 11

本文由必发娱乐官网发布于必发88手机网站,转载请注明出处:归档格局,rsync还是能够实现同台本地数据、删除文件和目录的成效

您可能还会对下面的文章感兴趣: