行頭が日時でだいたい２行ワンセットになっているログで、同じ内容の冗長な行をカットするフィルタ
perl -ne'$p=substr($_,24); $p ne $p1 && $p ne $p2 && print; $p2=$p1; $p1=$p'
$ tail -F /var/log/unko/unko.log 2024-12-14 15:30:12.680 状態:平常 2024-12-14 15:30:12.680 DATA=A0000000,81000000,82000000,83000040 2024-12-14 15:30:14.780 状態:平常 2024-12-14 15:30:14.780 DATA=A0000000,81000000,82000000,83000040 2024-12-14 15:30:16.783 状態:平常 2024-12-14 15:30:16.783 DATA=A0000000,81000000,82000000,83000040 2024-12-14 15:30:18.793 状態:平常 2024-12-14 15:30:18.793 DATA=A0000000,81000000,82000000,83000040 2024-12-14 15:30:20.510 状態:コマンド実行中 2024-12-14 15:30:20.511 DATA=A0000000,81100000,82100000,83100040 2024-12-14 15:30:22.520 状態:コマンド実行中 2024-12-14 15:30:22.520 DATA=A0000000,81100000,82100000,83100040 2024-12-14 15:30:24.904 状態:コマンド実行中 2024-12-14 15:30:24.904 DATA=A0000000,81110E00,82110000,83100040 2024-12-14 15:30:26.914 状態:コマンド実行中 2024-12-14 15:30:26.914 DATA=A0000000,81110E00,82110000,83100040 2024-12-14 15:30:28.933 コマンドは正常に終了 2024-12-14 15:30:28.934 状態:平常 2024-12-14 15:30:28.934 DATA=A0000000,81000000,82000000,83000040
これがこうなる
$ tail -F /var/log/unko/unko.log | perl -ne '$p=substr($_,24); $p ne $p1 && $p ne $p2 && print; $p2=$p1; $p1=$p' 2024-12-14 15:30:12.680 状態:平常 2024-12-14 15:30:12.680 DATA=A0000000,81000000,82000000,83000040 2024-12-14 15:30:20.510 状態:コマンド実行中 2024-12-14 15:30:20.511 DATA=A0000000,81100000,82100000,83100040 2024-12-14 15:30:24.904 DATA=A0000000,81110E00,82110000,83100040 2024-12-14 15:30:28.933 コマンドは正常に終了 2024-12-14 15:30:28.934 状態:平常 2024-12-14 15:30:28.934 DATA=A0000000,81000000,82000000,83000040
