lsyncd で lftp を使ったファイル同期

古都の老兵
2024-07-03
2024-07-03

はじめに

 複数のサーバー間でディレクトリ(フォルダー)やファイルの同期で lsyncd(Live Syncing Mirror Daemon) を使う場合あります。lsyncd は inotify のイベントをトリガーとして設定に沿った処理を行うもので、良く使われるのは rsync を同期先のサーバーに対して実行して同期をしています。
 しかし、同期先のサーバーが FTP しか使えないような場合には rsync での同期が使えませんので代わりに ftp を使って同期してみます。

lsyncd のインストール

 lsyncd は RedHatやRedHat系の Alumalinux 等には標準で提供されていませんので、epel リポジトリーを使います。

# dnf install epel-release -y

 epel のリポジトリはインストールするとディフォルトで有効化されていますので、後はそのまま lsyncd をインストールします。ついでに lftp も入れておきましょう。

# dnf install lsyncd lftp -y

ちょっとドキュメントを見てみよう

 rsync を使った同期方法についてはネットにやり方等々があるのですが、ftp サービスを使うような方法がないので、ドキュメントを見てみます。dnf や yum などのパッケージでインストールすると /usr/share/doc/lsyncd/examples 以下にサンプルがありました。

lalarm.lua  lecho.lua  lgforce.lua      lpostcmd.lua  lrsyncssh.lua  lsayirc.lua
lbash.lua   lftp.lua   limagemagic.lua  lrsync.lua    ls3.lua

 lftp のサンプルがありました。また bash を実行するようなサンプルもあります。

サンプルを参考に設定してみる

 lsyncd の設定ファイルは /etc/lsyncd.conf で行うようです。
 ファイルの初期状態は sync のサンプルが1行入っていますが、削除して lftp のサンプルを使い、足りない部分を環境に合わせて書き換えてみます。

settings  {
        logfile = "/var/log/lsyncd/lsyncd.log",
        statusFile = "/tmp/lsyncd.stat",
        statusInterval = 2,
}

lftp = {
        -----
        -- Spawns rsync for a list of events
        --
        action = function(inlet)
                -- gets all events ready for syncing
                local elist = inlet.getEvents(
                        function(event)
                                return event.etype ~= 'Init' and event.etype ~= 'Blanket'
                        end
                )
                -----
                -- replaces filter rule by literals
                --
                local function sub(p)
                        if not p then
                                return
                        end
                        return p:gsub('%?', '\\?'):
                                 gsub('%*', '\\*'):
                                 gsub('%[', '\\['):
                                 gsub('%]', '\\]')
                end

                local config = inlet.getConfig()
                local commands = elist.getPaths(
                        function(etype, path1, path2)
                                if etype == 'Delete' then
                                        if string.byte(path1, -1) == 47 then
                                                return 'rm -r '..
                                                        config.targetdir..sub(path1)
                                        else
                                                return 'rm '..
                                                        config.targetdir..sub(path1)
                                        end
                                elseif
                                        etype == 'Create' or
                                        etype == 'Modify' or
                                        etype == 'Attrib'
                                then
                                        if string.byte(path1, -1) == 47 then
                                                return 'mirror -R '..
                                                        config.source..sub(path1)..' '..
                                                        config.targetdir..sub(path1)
                                        else
                                                return 'put '..
                                                        config.source..sub(path1)..
                                                        ' -o '..config.targetdir..sub(path1)
                                        end
                                end
                        end
                )

                if #commands == 0 then
                        spawn(elist, '/bin/true')
                        return
                end
                commands = table.concat(commands, ';\n')
                log('Normal', 'Calling lftp with commands\n', commands)
                spawn(elist, '/usr/bin/lftp',
                        '<', commands,
                        '-u', config.user..','..config.pass, config.host
                )
        end,

        -----
        -- Spawns the recursive startup sync
        --
        init = function(event)
                local config = event.config
                local inlet = event.inlet
                local excludes = inlet.getExcludes()
                local delete = nil
                if config.delete then delete = { '--delete', '--ignore-errors' }; end

                if #excludes ~= 0 then
                        error('lftp does not work with excludes', 4)
                end

                log('Normal', 'recursive startup lftp: ', config.source, ' to host: ', config.host)

                spawn(event, '/usr/bin/lftp',
                        '-c',
                        'open -u '..config.user..','..config.pass..' '..config.host..'; '..
                        'mirror -R -e '..config.source..' '..config.targetdir..';'
                )
        end,

        -----
        -- Checks the configuration.
        --
        prepare = function(config)

                if not config.host then
                        error('lftps needs "host" configured', 4);
                end

                if not config.user then
                        error('lftps needs "user" configured', 4);
                end

                if not config.pass then
                        error('lftps needs "pass" configured', 4);
                end

                if not config.targetdir then
                        error('lftp needs "targetdir" configured', 4)
                end

                if config.target then
                        error('lftp needs NOT "target" configured', 4)
                end

                if config.exclude then
                        error('lftp does not work with excludes', 4)
                end

                if config.rsyncOpts then
                        error('lftp needs NOT "rsyncOpts" configured', 4)
                end

                if string.sub(config.targetdir, -1) == '/' then
                        error('please make targetdir not end with a /', 4)
                end

        end,

        -----
        -- Exit codes for rsync.
        --
        exitcodes = {
                [  0] = 'ok',
                [  1] = 'ok',
        },

        -----
        -- Default delay
        --
        delay = 1,
}

sync{
        lftp,
        host      = '192.168.xxx.xxx',
        user      = 'ftpuser',
        pass      = 'ftppassword',
        source    = '/home/user/public_html',
        targetdir = 'htdocs',
}

 基本的にサンプルはそのままで最後の方にある sync{} 内を環境に合わせて書き換えれば動作します。

課題

 ここまで出来たら特定のディレクトリやファイルを除外したいと考えるでしょうが、残念ながらこのサンプルでは除外は機能しないようです。
 error('lftp does not work with excludes', 4)
lftp の mirror コマンドには -x あるいは -X オプションで exclude matching files とあるので出来そうな気もしますが・・・。

最後に

 lsyncd は rsync での同期という概念から抜けなかったのですが、最近のバージョンでは色々できるようになっているみたいですね。これはこうだと決めつけずに今もそうなのか?と見直す事も重要だと思いました。