设为首页 加入收藏

TOP

Linux 利用inotify和rsync服务实现数据实时同步(一)
2023-07-23 13:38:51 】 浏览:73
Tags:Linux 利用 inotify rsync 时同步

文件定时同步的实现:

利用rsync结合cron计划任务实现:

rsync -av --delete /data/  10.0.0.12:/back

-a:保留文件属性
-v:显示过程
-delete:如果源文件没有的,目标文件里面有,就把目标文件里面的删除掉

文件实时同步的实现:

前提:

??文件发生发生变化的时候就触发同步,但是触发同步需要一个依赖文件状态变化的功能。

inotify

??inotify是系统内核的一个监控服务,属于操作系统内核的一个特有机制,用于监控文件的信息变化。

查看内核是否支持inotify;

[root@LAP1 data]# ls -l /proc/sys/fs/inotify  
ls: cannot access ' ': No such file or directory
/proc/sys/fs/inotify:
total 0
-rw-r--r-- 1 root root 0 Oct 24 23:39 max_queued_events
-rw-r--r-- 1 root root 0 Oct 24 23:39 max_user_instances
-rw-r--r-- 1 root root 0 Oct 24 23:39 max_user_watches

inotify内核参数:

max_queued_events:inotify 事件队列最大长度,如值太小会出现 Event Queue Overflow 错误,默认值:16384, 生产环境建议调大,比如:327679

max_user_instances:每个用户创建inotify实例最大值,默认值:128

max_user_watches:可以监视的文件的总数量(inotifywait 单进程),默认值:8192,建议调大

说明:
??proc里面的参数可以通过sysctl工具来进行更改。

inotify-tools包主要工具:

  • inotifywait: 在被监控的文件或目录上等待特定文件系统事件(open ,close,delete等)发生,常用于实时同步的目录监控(主要使用的就是这个工具)

  • inotifywatch:收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计

inotifywait 命令:

inotifywait [ options ] file1 [ file2 ] [ file3 ] [ ... ]

选项:

-m, --monitor 始终保持事件监听

-d, --daemon 以守护进程方式执行,和-m相似,配合-o使用

-r, --recursive 递归监控目录数据信息变化

-q, --quiet 输出少量事件信息

--exclude <pattern> 指定排除文件或目录,使用扩展的正则表达式匹配的模式实现

--excludei <pattern> 和exclude相似,不区分大小写

-o, --outfile <file> 打印事件存到文件中,注意:使用绝对路径

-s, --syslogOutput 发送错误到syslog相当于标准错误输出

--timefmt <fmt> 指定时间输出格式

--format <fmt> 定义输出格式;即实际监控输出内容

-e 指定监听指定的事件,如果省略,表示所有事件都进行监听

例如:

# 10.0.0.11
[root@LAP1 data]# cat file1 
[root@LAP1 data]# echo hello > file1
[root@LAP1 data]# ll file1
-rw-r--r-- 1 root root 6 Oct 24 23:50 file1
[root@LAP1 data]# chmod 666 


# 10.0.0.11
[root@LAP1 data]# inotifywait -m  file1
Setting up watches.
Watches established.
file1 OPEN
file1 CLOSE_NOWRITE,CLOSE
file1 MODIFY
file1 OPEN
file1 MODIFY
file1 CLOSE_WRITE,CLOSE
file1 ATTRIB
inotifywait -e 选项指定的事件类型
create #文件或目录创建

delete #文件或目录被删除

modify #文件或目录内容被写入

attrib #文件或目录属性改变

close_write #文件或目录关闭,在写入模式打开之后关闭的

close_nowrite #文件或目录关闭,在只读模式打开之后关闭的

close #文件或目录关闭,不管读或是写模式

open #文件或目录被打开

lsdir #浏览目录内容

moved_to #文件或目录被移动到监控的目录中

moved_from #文件或目录从监控的目录中被移动

move #文件或目录不管移动到或是移出监控目录都触发事件

access #文件或目录内容被读取

delete_self #文件或目录被删除,目录本身被删除

unmount #取消挂载
inotifywait 的--timefmt 时间格式
%Y #年份信息,包含世纪信息

%y #年份信息,不包括世纪信息

%m #显示月份,范围 01-12

%d #每月的第几天,范围是 01-31

%H #小时信息,使用 24小时制,范围 00-23 

%M #分钟,范围 00-59 

%S      #秒,范例 0-60
inotifywait 的 --format 格式定义
%T #输出时间格式中定义的时间格式信息,通过 --timefmt option 语法格式指定时间信息

%w #事件出现时,监控的文件或目录的名称信息,相当于dirname

%f #事件出现时,将显示监控目录下触发事件的文件或目录信息,否则为空,相当于basename

%e #显示发生的事件信息,不同的事件默认用逗号分隔

%Xe #显示发生的事件信息,不同的事件指定用X进行分隔

例如:监控/data/目录的变化

[root@CentOS8 data]# inotifywait -m --timefmt "%Y-%m-%d %H:%M:%S" --format="%T %w---%f event: %;e" /data
Setting up watches.
Watches established.
2022-10-24 17:12:57 /data/--- event: OPEN;ISDIR
2022-10-24 17:12:57 /data/--- event: ACCESS;ISDIR
2022-10-24 17:12:57 /data/--- event: CLOSE_NOWRITE;CLOSE;ISDIR
2022-10-24 17:13:06 /data/---file3 event: CREATE
2022-10-24 17:13:06 /data/---file3 event: OPEN
2022-10-24 17:13:06 /data/---file3 event: ATTRIB
2022-10-24 17:13:06 /data/---file3 event: CLOSE_WRITE;CLOSE


rsync工具

rsync有三种工作方式:

首页 上一页 1 2 3 下一页 尾页 1/3/3
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Ansible使用playbook部署LNMP 下一篇RHCSA认证考试

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目