下载帮

请输入关键字词

热门搜索排行

最新搜索排行

您现在的位置是：首页 > 服务器 > Linux

Linux

实时同步工具lsyncd

实时同步   syncd   Linux
2022-05-25 09:33Linux

Lsyncd简介

Lysncd是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，通过inotify或者fsevents监控本地目录的变化事件，然后通过rsync同步。Lsyncd最强大之处在于简单高效传输海量数据并且Lsyncd支持多种工作模式。

Lsyncd官网

https://github.com/axkibe/lsyncd

下载地址
https://developer.aliyun.com/packageSearch?word=lsyncd

Lsyncd配置文件参数说明
标注：lsyncd.conf可以有多个sync，各自的模式，互不影响

settings                #==》全局设置
{
logfile                 #==》定义日志文件
stausFile               #==》定义状态文件
nodaemon=true           #==》默认不启用守护模式
statusInterval          #==》将lsyncd的状态写入上面的statusFile的间隔，默认10秒
inotifyMode             #==》指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses            #==》同步进程的最大个数Ls。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
maxDelays               #==》累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到
}
sync                                #==》里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量。一般第一个参数指定lsyncd以什幺模式运行：rsync、rsyncssh、direct三种模式
{
default.rsync                       #==》本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct                      #==》本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh                    #==》同步到远程主机目录，rsync的ssh模式，需要使用key来认证

source                              #==》同步的源目录，使用绝对路径。

target                              #==》定义目的地址.对应不同的模式有几种写法：
（1）、/tmp/dest                     #==》本地目录同步，可用于direct和rsync模式
（2）、172.29.88.223:/tmp/dest       #==》同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步
（3）、172.29.88.223::module         #==》同步到远程服务器目录，用于rsync模式
三种模式的示例会在后面给出。

delete                              #==》为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running值，请参考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior。

init                                #==》这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步。默认是true

delay                               #==》累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）

excludeFrom                         #==》排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"如果是简单的排除，可以使用exclude = LIST。这里的排除规则写法与原生rsync有点不同，更为简单：监控路径里的任何部分匹配到一个文本，都会被排除，例如/bin/foo/bar可以匹配规则foo
（1）、如果规则以斜线/开头，则从头开始要匹配全部
（2）、如果规则以/结尾，则要匹配监控路径的末尾
（3）、?匹配任何字符，但不包括/
（4）、*匹配0或多个字符，但不包括/
（5）、**匹配0或多个字符，可以是/
}
Rsync
{
（1）、bwlimit 限速，单位kb/s，与rsync相同（这幺重要的选项在文档里竟然没有标出）
（2）、compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
（3）、perms 默认保留文件权限。
}

1. pidfile
      文件记录lsyncd当前进程id值，
      如果没有pid文件，那幺则可以启动多个lsyncd进程，
  这会导致多个lsyncd进程同时运行造成同步的数据混乱。
      如果设置了pid文件，同时只能启动一个lsyncd进程。
  避免多个lsyncd进程导致同步混乱的情况，pid文件一定要设置。

2. inotifyMode
      指定lsyncd监控的事件，其值有：CloseWrite, Modify, CloseWrite or Modify 
  默认是CloseWrite。
      官方文档写的是 inotify事件，其实是不对的 
  lsyncd事件是对inotify事件的包装，CloseWrite事件是lsyncd的事件。
  我一直以为CloseWrite监听的是 文件写入关闭事件，
  可为什幺文件删除和创建也被lsyncd监听并同步了呢？
  其实CloseWrite事件并不是单一事件而是包含了很多inotify事件，如下：

  CloseWrite包含了以下inotify事件：
    IN_ATTRIB 文件属性被修改，如 chmod、chown、touch 等
    IN_CLOSE_WRITE 可写文件被 关闭
    IN_CREATE创建新文件
    IN_DELETE文件/目录已在监控目录中删除
    IN_DELETE_SELF 监控的项目本身已删除
    IN_MOVED_FROM 文件被移出监控目录,如 mv
    IN_MOVED_TO 文件被移动到监控目录，如 mv、cp
    IN_DONT_FOLLOW 不追踪符号链接的真实路径
    IN_ONLYDIR; 仅监视目录

  Modify是在CloseWrite的基础上增加了IN_MODIFY事件，并删除了IN_CLOSE_WRITE事件
    IN_MODIFY 文件已被修改

  CloseWrite or Modify 是在CloseWrite的基础上增加了IN_MODIFY事件

3. Insist
      默认情况下，当启动lsyncd失败时，Lsyncd会结束允许并显示一条错误消息。
  开启了容错模式以后，lsyncd并不会因为某个配置的错误导致启动失败,
  而是记录错误日志并忽略错误配置继续允许。

4. maxProcesses
      lsyncd会产生一个子进程去运行sync任务，
  多个sync的时候，lsyncd会产生多个子进程并发运行sync任务，
  但最多不会超过maxProcesses的值。

5. maxDelays
      累计到多少所监控的事件激活一次同步，即使后面的sync配置的delay延迟时间还未到

yum安装Lsyncd

[root@nfs ~]#yum install -y lsyncd lua lua-devel
[root@nfs ~]# rpm -qc lsyncd
/etc/logrotate.d/lsyncd
/etc/lsyncd.conf                            #==》Lsyncd主配置文件
/etc/sysconfig/lsyncd

写入Lsyncd配置文件/etc/lsyncd.conf

[root@nfs ~]# vim /etc/lsyncd.conf 
settings {
  logfile = "/var/log/lsyncd/lsyncd.log",
  statusFile = "/var/log/lsyncd/lsyncd.status",
  inotifyMode = "CloseWrite",
  maxProcesses = 8,
} 
sync {
  default.rsync,
  source = "/backup",
  target = "[email protected]::backup",
  delete = true,
  exclude = { ".*" },
  delay = 1,
  rsync = {
    binary = "/usr/bin/rsync",
    archive = true,
    compress = true,
    verbose = true,
    password_file = "/etc/rsync.passwd",
    _extra = {"--bwlimit=200"}
  } 
}

lsyncd.conf配置选项说明

全局设置

--开头表示注释，下面是几个常用选项说明：

logfile 		定义日志文件
stausFile 		定义状态文件
statusInterval 	将lsyncd的状态写入上面的statusFile的间隔，默认10秒
nodaemon=true 	表示不启用守护模式，默认
inotifyMode 	指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify
maxProcesses 	同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程
maxDelays 		累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到

sync

定义同步参数，可以继续使用maxDelays来重写settings的全局变量。

模式运行

default.rsync		本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；
default.direct		本地目录间同步，使用cp、rm等命令完成差异文件备份；
default.rsyncssh	同步到远程主机目录，rsync的ssh模式，需要使用key来认证

目录设置

source						同步的源目录，使用绝对路径。
target						定义目的地址.对应不同的模式有几种写法：
/tmp/dest					本地目录同步，可用于direct和rsync模式
172.29.88.223:/tmp/dest 	同步到远程服务器目录，可用于rsync和rsyncssh模式
excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"，如果是简单的排除，可以使用exclude = LIST。

这里的排除规则写法与原生rsync有点不同，更为简单：

监控路径里的任何部分匹配到一个文本，都会被排除，例如foo可以匹配/bin/foo/bar
如果规则以斜线/开头，则从头开始要匹配全部
如果规则以/结尾，则要匹配监控路径的末尾
?匹配单个任何字符，但不包括/
*匹配0或多个字符，但不包括/
**匹配0或多个字符，可以是/
delay 			累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）

delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、running

true 		Lsyncd将在目标上删除任何不在源中的内容。 在启动时和正常操作中被删除的内容。
false 		在lsyncd启动后将在目标上不删除任何不在源中的内容， 在启动时和正常操作中被删除的内容。
startup 	启动时将执行一次完全文件同步，保证完全一致；正常运行过程中不会删除target中的文件
running 	启动前，增加的会同步，删除的不同步；正常运行过程中会删除target中的文件

使用技巧，先使用startup模式进行一次完全同步，在使用running保持后续的一致性。

bwlimit 		限速，单位kb/s，与rsync相同（这幺重要的选项在文档里竟然没有标出）
compress 		压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false
perms 			默认保留文件权限。

其它rsync的选项

其它还有rsyncssh模式独有的配置项，如host、targetdir、rsync_path、password_file，

同步模式

全局配置

settings {
    logfile ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
    statusFile ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8,
    }

I. 本地目录同步，direct：cp/rm/mv

sync {
    default.direct,
    source    = "/tmp/src",
    target    = "/tmp/dest",
    delay = 1
    maxProcesses = 1
    }

II. 本地目录同步，rsync模式：rsync

sync {
    default.rsync,
    source    = "/tmp/src",
    target    = "/tmp/dest1",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit   = 2000
        } 
    }

III. 远程目录同步，rsync模式 + rsyncd daemon

sync {
    default.rsync,
    source    = "/tmp/src",
    target    = "[email protected]::module1",
    delete = true,
    exclude = { ".*", ".tmp" },
    delay = 1,
    maxDelays = 1,
    init = true,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose   = false,
        password_file = "/etc/rsyncd.d/rsync.pwd",
        _extra    = {"--bwlimit=200"}
        }
    }

IV. 远程目录同步，rsync模式 + ssh shell

sync {
    default.rsync,
    source    = "/tmp/src",
    target    = "172.29.88.223:/tmp/dest",
    -- target    = "[email protected]:/remote/dest",
    -- 上面target，注意如果是普通用户，必须拥有写权限
    maxDelays = 5,
    delay = 30,
    -- init = true,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit   = 2000
        -- rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no"
        -- 如果要指定其它端口，请用上面的rsh
        }
    }

V. 远程目录同步，rsync模式 + rsyncssh，效果与上面相同

sync {
    default.rsyncssh,
    source    = "/tmp/src2",
    host      = "172.29.88.223",
    targetdir = "/remote/dir",
    excludeFrom = "/etc/rsyncd.d/rsync_exclude.lst",
    -- maxDelays = 5,
    delay = 0,
    -- init = false,
    rsync    = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        verbose   = true,
        _extra = {"--bwlimit=2000"},
        },
    ssh      = {
        port  =  1234
        }
    }

启动Lsyncd并设置开机自启动

systemctl start lsyncd
systemctl enable lsyncd

测试

#==》Lsycnd服务端创建
[root@nfs ~]# touch /backup/test1{1..5}.txt
[root@nfs ~]# ls -l /backup/
total 0
-rw-r--r-- 1 root root 0 Aug 30 17:18 test11.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test12.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test13.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test14.txt
-rw-r--r-- 1 root root 0 Aug 30 17:18 test15.txt

#==》Rsync守护进程主机查看
[root@rsync ~]# ls -l /backup/
total 0
-rw-r--r--. 1 www www 0 Aug 30  2019 test11.txt
-rw-r--r--. 1 www www 0 Aug 30  2019 test12.txt
-rw-r--r--. 1 www www 0 Aug 30  2019 test13.txt
-rw-r--r--. 1 www www 0 Aug 30  2019 test14.txt
-rw-r--r--. 1 www www 0 Aug 30  2019 test15.txt

rsync 用法教程

参考地址
https://www.xzb5.com/server/4693.html

采坑之旅

在实际使用中在后台上传文件后两台服务器双向同步的过程中发现会产生很多临时的隐藏文件，并且上传的图片经常显示不全。经过排查发现只有上传较大的文件（比如1M以上的图片）会产生这样现象，原因是Lysncd在同步大文件时会把文件切割成小块的文件传输最后合并。导致这些小块文件来回同步互相锁定而发生错误。

解决方案：即在Lysncd的配置文件中把隐藏的临时文件和切割分段文件的过滤不同步即可：

exclude = { ".*","*.filepart"},
很赞哦！ ()

相关文章

文章评论