Description

hostname> show chassis alarms 

1 alarms currently active

Alarm time        Class Description

2024-05-06 19:48:45 UTC Minor VMHost RE 0 Disk 1 Usage is above threshold



hostname>  start shell user root 

root@re0:/var/home/ACSwheel # vhclient -s



root@re0:~# cat /var/log/resild | grep usage



2024-5-5 6:28:38 Disk usage mon: Disk usage for /dev/mapper/jvg_P-jlvmrootrw[jlvmrootrw] is 81% and crossed the threshold of 80%

2024-5-6 7:23:38 Disk usage mon: Disk usage for /dev/mapper/jvg_P-jlvmrootrw[jlvmrootrw] is 81% and crossed the threshold of 80%

2024-5-6 19:48:38 Disk usage mon: Disk usage for /dev/mapper/jvg_P-jlvmrootrw[jlvmrootrw] is 81% and crossed the threshold of 80%



root@re0:~# df -h

Filesystem          Size Used Avail Use% Mounted on

/dev/sda3           2.0G 1.4G 500M 73% /.old

devtmpfs            31G 4.0K  31G  1% /dev

tmpfs             32G   0  32G  0% /dev/shm

tmpfs             32G 2.1M  32G  1% /run

tmpfs             32G   0  32G  0% /sys/fs/cgroup

tmpfs             32G   0  32G  0% /.old/tmp

tmpfs             32G   0  32G  0% /var/volatile

/dev/mapper/jvg_P-jlvmspare  287M 2.1M 266M  1% /spare

/dev/mapper/jvg_P-jlvmjunos  32G  16G  15G 53% /junos

/dev/mapper/jvg_P-jlvmvm   6.1G 5.6G 225M 97% /vm

/dev/mapper/jvg_P-jlvmrootrw 3.3G 2.7G 406M 88% /.old/tdev/.union/.s

unionfs            3.3G 2.7G 406M 88% /

tmpfs             32G   0  32G  0% /tmp

tmpfs             6.3G   0 6.3G  0% /run/user/0

Symptoms

Lots of user.log backup files under /var/log/:

 

root@re0:~# ls /var/log 

apache2             user.log.1.gz-2023072421.backup user.log.1.gz-2023092608.backup user.log.1.gz-2023112819.backup user.log.1.gz-2024013106.backup user.log.1.gz-2024040317.backup

audit              user.log.1.gz-2023072422.backup user.log.1.gz-2023092609.backup user.log.1.gz-2023112820.backup user.log.1.gz-2024013107.backup user.log.1.gz-2024040318.backup

auth.log             user.log.1.gz-2023072423.backup user.log.1.gz-2023092610.backup user.log.1.gz-2023112821.backup user.log.1.gz-2024013108.backup user.log.1.gz-2024040319.backup

auth.log.6.gz          user.log.1.gz-2023072500.backup user.log.1.gz-2023092611.backup user.log.1.gz-2023112822.backup user.log.1.gz-2024013109.backup user.log.1.gz-2024040320.backup

boot               user.log.1.gz-2023072501.backup user.log.1.gz-2023092612.backup user.log.1.gz-2023112823.backup user.log.1.gz-2024013110.backup user.log.1.gz-2024040321.backup

boot.0              user.log.1.gz-2023072502.backup user.log.1.gz-2023092613.backup user.log.1.gz-2023112900.backup user.log.1.gz-2024013111.backup user.log.1.gz-2024040322.backup

boot.1.gz            user.log.1.gz-2023072503.backup user.log.1.gz-2023092614.backup user.log.1.gz-2023112901.backup user.log.1.gz-2024013112.backup user.log.1.gz-2024040323.backup

boot.2.gz            user.log.1.gz-2023072504.backup user.log.1.gz-2023092615.backup user.log.1.gz-2023112902.backup user.log.1.gz-2024013113.backup user.log.1.gz-2024040400.backup

boot.3.gz            user.log.1.gz-2023072505.backup user.log.1.gz-2023092616.backup user.log.1.gz-2023112903.backup user.log.1.gz-2024013114.backup user.log.1.gz-2024040401.backup

btmp               user.log.1.gz-2023072506.backup user.log.1.gz-2023092617.backup user.log.1.gz-2023112904.backup user.log.1.gz-2024013115.backup user.log.1.gz-2024040402.backup

btmp.1              user.log.1.gz-2023072507.backup user.log.1.gz-2023092618.backup user.log.1.gz-2023112905.backup user.log.1.gz-2024013116.backup user.log.1.gz-2024040403.backup

ceph               user.log.1.gz-2023072508.backup user.log.1.gz-2023092619.backup user.log.1.gz-2023112906.backup user.log.1.gz-2024013117.backup user.log.1.gz-2024040404.backup

cron.log             user.log.1.gz-2023072509.backup user.log.1.gz-2023092620.backup user.log.1.gz-2023112907.backup user.log.1.gz-2024013118.backup user.log.1.gz-2024040405.backup

daemon.log            user.log.1.gz-2023072510.backup user.log.1.gz-2023092621.backup user.log.1.gz-2023112908.backup user.log.1.gz-2024013119.backup user.log.1.gz-2024040406.backup

daemon.log.1.gz         user.log.1.gz-2023072511.backup user.log.1.gz-2023092622.backup user.log.1.gz-2023112909.backup user.log.1.gz-2024013120.backup user.log.1.gz-2024040407.backup

debug              user.log.1.gz-2023072512.backup user.log.1.gz-2023092623.backup user.log.1.gz-2023112910.backup user.log.1.gz-2024013121.backup user.log.1.gz-2024040408.backup

debug.1.gz            user.log.1.gz-2023072513.backup user.log.1.gz-2023092700.backup user.log.1.gz-2023112911.backup user.log.1.gz-2024013122.backup user.log.1.gz-2024040409.backup

depmod_install_info.log     user.log.1.gz-2023072514.backup user.log.1.gz-2023092701.backup user.log.1.gz-2023112912.backup user.log.1.gz-2024013123.backup user.log.1.gz-2024040410.backup

disk_stats.log          user.log.1.gz-2023072515.backup user.log.1.gz-2023092702.backup user.log.1.gz-2023112913.backup user.log.1.gz-2024020100.backup user.log.1.gz-2024040411.backup

disk_stats.log.1.gz       user.log.1.gz-2023072516.backup user.log.1.gz-2023092703.backup user.log.1.gz-2023112914.backup user.log.1.gz-2024020101.backup user.log.1.gz-2024040412.backup

glusterfs            user.log.1.gz-2023072517.backup user.log.1.gz-2023092704.backup user.log.1.gz-2023112915.backup user.log.1.gz-2024020102.backup user.log.1.gz-2024040413.backup

journal             user.log.1.gz-2023072518.backup user.log.1.gz-2023092705.backup user.log.1.gz-2023112916.backup user.log.1.gz-2024020103.backup user.log.1.gz-2024040414.backup

kern.log             user.log.1.gz-2023072519.backup user.log.1.gz-2023092706.backup user.log.1.gz-2023112917.backup user.log.1.gz-2024020104.backup user.log.1.gz-2024040415.backup

kern.log.1.gz          user.log.1.gz-2023072520.backup user.log.1.gz-2023092707.backup user.log.1.gz-2023112918.backup user.log.1.gz-2024020105.backup user.log.1.gz-2024040416.backup

kern.log.2.gz          user.log.1.gz-2023072521.backup user.log.1.gz-2023092708.backup user.log.1.gz-2023112919.backup user.log.1.gz-2024020106.backup user.log.1.gz-2024040417.backup

kern.log.3.gz          user.log.1.gz-2023072522.backup user.log.1.gz-2023092709.backup user.log.1.gz-2023112920.backup user.log.1.gz-2024020107.backup user.log.1.gz-2024040418.backup

kern.log.4.gz          user.log.1.gz-2023072523.backup user.log.1.gz-2023092710.backup user.log.1.gz-2023112921.backup user.log.1.gz-2024020108.backup user.log.1.gz-2024040419.backup

kern.log.5.gz          user.log.1.gz-2023072600.backup user.log.1.gz-2023092711.backup user.log.1.gz-2023112922.backup user.log.1.gz-2024020109.backup user.log.1.gz-2024040420.backup

lastlog             user.log.1.gz-2023072601.backup user.log.1.gz-2023092712.backup user.log.1.gz-2023112923.backup user.log.1.gz-2024020110.backup user.log.1.gz-2024040421.backup

libvirt             user.log.1.gz-2023072602.backup user.log.1.gz-2023092713.backup user.log.1.gz-2023113000.backup user.log.1.gz-2024020111.backup user.log.1.gz-2024040422.backup

mail.info            user.log.1.gz-2023072603.backup user.log.1.gz-2023092714.backup user.log.1.gz-2023113001.backup user.log.1.gz-2024020112.backup user.log.1.gz-2024040423.backup

mail.log             user.log.1.gz-2023072604.backup user.log.1.gz-2023092715.backup user.log.1.gz-2023113002.backup user.log.1.gz-2024020113.backup user.log.1.gz-2024040500.backup

messages             user.log.1.gz-2023072605.backup user.log.1.gz-2023092716.backup user.log.1.gz-2023113003.backup user.log.1.gz-2024020114.backup user.log.1.gz-2024040501.backup

messages.1.gz          user.log.1.gz-2023072606.backup user.log.1.gz-2023092717.backup user.log.1.gz-2023113004.backup user.log.1.gz-2024020115.backup user.log.1.gz-2024040502.backup

messages.2.gz          user.log.1.gz-2023072607.backup user.log.1.gz-2023092718.backup user.log.1.gz-2023113005.backup user.log.1.gz-2024020116.backup user.log.1.gz-2024040503.backup

messages.3.gz          user.log.1.gz-2023072608.backup user.log.1.gz-2023092719.backup user.log.1.gz-2023113006.backup user.log.1.gz-2024020117.backup user.log.1.gz-2024040504.backup

messages.4.gz          user.log.1.gz-2023072609.backup user.log.1.gz-2023092720.backup user.log.1.gz-2023113007.backup user.log.1.gz-2024020118.backup user.log.1.gz-2024040505.backup

messages.5.gz          user.log.1.gz-2023072610.backup user.log.1.gz-2023092721.backup user.log.1.gz-2023113008.backup user.log.1.gz-2024020119.backup user.log.1.gz-2024040506.backup

openvswitch           user.log.1.gz-2023072611.backup user.log.1.gz-2023092722.backup user.log.1.gz-2023113009.backup user.log.1.gz-2024020120.backup user.log.1.gz-2024040507.backup

postinstall.log         user.log.1.gz-2023072612.backup user.log.1.gz-2023092723.backup user.log.1.gz-2023113010.backup user.log.1.gz-2024020121.backup user.log.1.gz-2024040508.backup

read_latency_log_Disk1      user.log.1.gz-2023072613.backup user.log.1.gz-2023092800.backup user.log.1.gz-2023113011.backup user.log.1.gz-2024020122.backup user.log.1.gz-2024040509.backup

read_latency_log_Disk2      user.log.1.gz-2023072614.backup user.log.1.gz-2023092801.backup user.log.1.gz-2023113012.backup user.log.1.gz-2024020123.backup user.log.1.gz-2024040510.backup

resild              user.log.1.gz-2023072615.backup user.log.1.gz-2023092802.backup user.log.1.gz-2023113013.backup user.log.1.gz-2024020200.backup user.log.1.gz-2024040511.backup

rpmdb_status           user.log.1.gz-2023072616.backup user.log.1.gz-2023092803.backup user.log.1.gz-2023113014.backup user.log.1.gz-2024020201.backup user.log.1.gz-2024040512.backup

sa                user.log.1.gz-2023072617.backup user.log.1.gz-2023092804.backup user.log.1.gz-2023113015.backup user.log.1.gz-2024020202.backup user.log.1.gz-2024040513.backup

sanlock.log           user.log.1.gz-2023072618.backup user.log.1.gz-2023092805.backup user.log.1.gz-2023113016.backup user.log.1.gz-2024020203.backup user.log.1.gz-2024040514.backup

syslog              user.log.1.gz-2023072619.backup user.log.1.gz-2023092806.backup user.log.1.gz-2023113017.backup user.log.1.gz-2024020204.backup user.log.1.gz-2024040515.backup

syslog.1.gz           user.log.1.gz-2023072620.backup user.log.1.gz-2023092807.backup user.log.1.gz-2023113018.backup user.log.1.gz-2024020205.backup user.log.1.gz-2024040516.backup

syslog.2.gz           user.log.1.gz-2023072621.backup user.log.1.gz-2023092808.backup user.log.1.gz-2023113019.backup user.log.1.gz-2024020206.backup user.log.1.gz-2024040517.backup

syslog.3.gz           user.log.1.gz-2023072622.backup user.log.1.gz-2023092809.backup user.log.1.gz-2023113020.backup user.log.1.gz-2024020207.backup user.log.1.gz-2024040518.backup

syslog.4.gz           user.log.1.gz-2023072623.backup user.log.1.gz-2023092810.backup user.log.1.gz-2023113021.backup user.log.1.gz-2024020208.backup user.log.1.gz-2024040519.backup

syslog.5.gz           user.log.1.gz-2023072700.backup user.log.1.gz-2023092811.backup user.log.1.gz-2023113022.backup user.log.1.gz-2024020209.backup user.log.1.gz-2024040520.backup

user.log             user.log.1.gz-2023072701.backup user.log.1.gz-2023092812.backup user.log.1.gz-2023113023.backup user.log.1.gz-2024020210.backup user.log.1.gz-2024040521.backup

user.log.1            user.log.1.gz-2023072702.backup user.log.1.gz-2023092813.backup user.log.1.gz-2023120100.backup user.log.1.gz-2024020211.backup user.log.1.gz-2024040522.backup

user.log.1.gz          user.log.1.gz-2023072703.backup user.log.1.gz-2023092814.backup user.log.1.gz-2023120101.backup user.log.1.gz-2024020212.backup user.log.1.gz-2024040523.backup

user.log.1.gz-2023052417.backup user.log.1.gz-2023072704.backup user.log.1.gz-2023092815.backup user.log.1.gz-2023120102.backup user.log.1.gz-2024020213.backup user.log.1.gz-2024040600.backup

user.log.1.gz-2023052418.backup user.log.1.gz-2023072705.backup user.log.1.gz-2023092816.backup user.log.1.gz-2023120103.backup user.log.1.gz-2024020214.backup user.log.1.gz-2024040601.backup

user.log.1.gz-2023052419.backup user.log.1.gz-2023072706.backup user.log.1.gz-2023092817.backup user.log.1.gz-2023120104.backup user.log.1.gz-2024020215.backup user.log.1.gz-2024040602.backup

user.log.1.gz-2023052420.backup user.log.1.gz-2023072707.backup user.log.1.gz-2023092818.backup user.log.1.gz-2023120105.backup user.log.1.gz-2024020216.backup user.log.1.gz-2024040603.backup

user.log.1.gz-2023052421.backup user.log.1.gz-2023072708.backup user.log.1.gz-2023092819.backup user.log.1.gz-2023120106.backup user.log.1.gz-2024020217.backup user.log.1.gz-2024040604.backup

user.log.1.gz-2023052422.backup user.log.1.gz-2023072709.backup user.log.1.gz-2023092820.backup user.log.1.gz-2023120107.backup user.log.1.gz-2024020218.backup user.log.1.gz-2024040605.backup

user.log.1.gz-2023052423.backup user.log.1.gz-2023072710.backup user.log.1.gz-2023092821.backup user.log.1.gz-2023120108.backup user.log.1.gz-2024020219.backup user.log.1.gz-2024040606.backup

user.log.1.gz-2023052500.backup user.log.1.gz-2023072711.backup user.log.1.gz-2023092822.backup user.log.1.gz-2023120109.backup user.log.1.gz-2024020220.backup user.log.1.gz-2024040607.backup

user.log.1.gz-2023052501.backup user.log.1.gz-2023072712.backup user.log.1.gz-2023092823.backup user.log.1.gz-2023120110.backup user.log.1.gz-2024020221.backup user.log.1.gz-2024040608.backup

user.log.1.gz-2023052502.backup user.log.1.gz-2023072713.backup user.log.1.gz-2023092900.backup user.log.1.gz-2023120111.backup user.log.1.gz-2024020222.backup user.log.1.gz-2024040609.backup

user.log.1.gz-2023052503.backup user.log.1.gz-20230727

Solution

Delete unwanted files under /var/log/:

 

root@re0:~# rm -R /var/log/user.log*

 

You can decide to leave the regular logs intact:

 

root@re0:~# ls /var/log/

apache2   boot.0   btmp.1      debug          glusterfs   kern.log.3.gz mail.info   messages.3.gz  read_latency_log_Disk1 sanlock.log syslog.4.gz  write_latency_log_Disk1

audit    boot.1.gz ceph       debug.1.gz        journal    kern.log.4.gz mail.log    messages.4.gz  read_latency_log_Disk2 syslog    syslog.5.gz  write_latency_log_Disk2

auth.log  boot.2.gz cron.log     depmod_install_info.log kern.log    kern.log.5.gz messages    messages.5.gz  resild         syslog.1.gz user.log   wtmp

auth.log.1 boot.3.gz daemon.log    disk_stats.log      kern.log.1.gz lastlog    messages.1.gz openvswitch   rpmdb_status      syslog.2.gz watchdog

boot    btmp    daemon.log.1.gz disk_stats.log.1.gz   kern.log.2.gz libvirt    messages.2.gz postinstall.log sa           syslog.3.gz wdmd_disk_io

 

The usage will decrease for the affected partition:

 

root@re0:~# cat /var/log/resild | grep jlvmrootrw

 

2024-6-5 14:33:38 Disk usage mon: Disk usage for /dev/mapper/jvg_P-jlvmrootrw[jlvmrootrw] is 22% and now below the threshold of 80%

 

{master}

 

And the alarm will clear:

 

hostname> show system alarms 

No alarms currently active

 

 

 

Modification History

6/5/24 Alessandro Paoli