Consuming all RAM > Crash

Hello Gentlemen, I have problems crashing in virtual VyOS, over time, the memory consumption increases, reaching the limit set in the Virtual Machine. Reaching the memory limit MV crashes, losing access to it, even via VMWARE. Solution accesses VMware locally and reset. Some BGPs happen this accident every 6 days, others every 22 days … What can it be? What I have been following other users are experiencing the same issue, so return to version 1.1.8 closing the bug !!!

I was able to double the VyOS Uptime time, found that the memory was too fast was the inbound soft-reconfiguration set on peers.
It happened on 2 servers both with VyOS 1.2. Disable inbound soft-reconfiguration for more than 1 week and memory consumption is no more than 2GB in a gradual rise. Only on 1 server that has community, is it rising a little faster even disabling inbound soft-reconfiguration.

Could be this:

https://phabricator.vyos.net/T1096

Or even this, which you can work around:

https://phabricator.vyos.net/T1131

But I have the same problem - (it’s not just you :slight_smile: - and did the same thing - reverted to 1.1.8 until it works.

And yet it’s not ALL VMWare installations that have it, I may chase down that path to see what pops ouut…

thanks for the reply but would like to stay at 1.2x :hot_face::hot_face:

@paulojrandrade show please output of commands sudo top then sudo free and sudo cat /proc/slabinfo

Thanks for answering

top - 14:48:52 up 1 day, 40 min, 1 user, load average: 0.03, 0.01, 0.00
Tasks: 220 total, 1 running, 130 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.1 us, 0.2 sy, 0.0 ni, 99.2 id, 0.0 wa, 0.0 hi, 0.5 si, 0.0 st
KiB Mem: 8162444 total, 2538664 used, 5623780 free, 47424 buffers
KiB Swap: 0 total, 0 used, 0 free. 172016 cached Mem

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1075 root 20 0 12064 4664 1452 S 1.0 0.1 10:11.93 haveged
1238 frr 20 0 1256536 0.987g 7344 S 1.0 12.7 12:49.79 bgpd
1201 frr 20 0 1234384 571452 5348 S 0.3 7.0 11:21.96 zebra
15024 root 20 0 23668 3016 2436 R 0.3 0.0 0:00.07 top
1 root 20 0 176076 5076 3260 S 0.0 0.1 0:02.57 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 rcu_gp
4 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 rcu_par_gp
6 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 kworker/0:0H-kb

         total       used       free     shared    buffers     cached

Mem: 8162444 2538168 5624276 11756 47424 172016
-/+ buffers/cache: 2318728 5843716
Swap: 0 0 0

slabinfo - version: 2.1

name <active_objs> <num_objs> : tunables : slabdata <active_slabs> <num_slabs>

nf_conntrack_expect 0 0 216 37 2 : tunables 0 0 0 : slabdata 0 0 0
nf_conntrack 0 0 320 25 2 : tunables 0 0 0 : slabdata 0 0 0
fuse_request 160 160 400 20 2 : tunables 0 0 0 : slabdata 8 8 0
fuse_inode 546 651 768 21 4 : tunables 0 0 0 : slabdata 31 31 0
squashfs_inode_cache 3795 3795 704 23 4 : tunables 0 0 0 : slabdata 165 165 0
ovl_inode 3600 3600 672 24 4 : tunables 0 0 0 : slabdata 150 150 0
ext4_groupinfo_4k 168 168 144 28 1 : tunables 0 0 0 : slabdata 6 6 0
ext4_inode_cache 558 558 1032 31 8 : tunables 0 0 0 : slabdata 18 18 0
ext4_allocation_context 256 256 128 32 1 : tunables 0 0 0 : slabdata 8 8 0
ext4_io_end 512 512 64 64 1 : tunables 0 0 0 : slabdata 8 8 0
ext4_extent_status 918 918 40 102 1 : tunables 0 0 0 : slabdata 9 9 0
mbcache 584 584 56 73 1 : tunables 0 0 0 : slabdata 8 8 0
jbd2_transaction_s 256 256 256 32 2 : tunables 0 0 0 : slabdata 8 8 0
jbd2_journal_handle 680 680 48 85 1 : tunables 0 0 0 : slabdata 8 8 0
jbd2_journal_head 272 272 120 34 1 : tunables 0 0 0 : slabdata 8 8 0
jbd2_revoke_table_s 256 256 16 256 1 : tunables 0 0 0 : slabdata 1 1 0
jbd2_revoke_record_s 384 384 32 128 1 : tunables 0 0 0 : slabdata 3 3 0
sd_ext_cdb 128 128 32 128 1 : tunables 0 0 0 : slabdata 1 1 0
scsi_sense_cache 1376 1376 128 32 1 : tunables 0 0 0 : slabdata 43 43 0
PINGv6 28 28 1152 28 8 : tunables 0 0 0 : slabdata 1 1 0
RAWv6 140 140 1152 28 8 : tunables 0 0 0 : slabdata 5 5 0
UDPv6 125 125 1280 25 8 : tunables 0 0 0 : slabdata 5 5 0
tw_sock_TCPv6 272 272 240 34 2 : tunables 0 0 0 : slabdata 8 8 0
request_sock_TCPv6 208 208 304 26 2 : tunables 0 0 0 : slabdata 8 8 0
TCPv6 112 112 2304 14 8 : tunables 0 0 0 : slabdata 8 8 0
sgpool-128 8 8 4096 8 8 : tunables 0 0 0 : slabdata 1 1 0
cfq_io_cq 0 0 120 34 1 : tunables 0 0 0 : slabdata 0 0 0
mqueue_inode_cache 36 36 896 36 8 : tunables 0 0 0 : slabdata 1 1 0
userfaultfd_ctx_cache 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
dnotify_struct 0 0 32 128 1 : tunables 0 0 0 : slabdata 0 0 0
dio 0 0 640 25 4 : tunables 0 0 0 : slabdata 0 0 0
posix_timers_cache 0 0 240 34 2 : tunables 0 0 0 : slabdata 0 0 0
UNIX 352 352 1024 32 8 : tunables 0 0 0 : slabdata 11 11 0
ip4-frags 741 741 208 39 2 : tunables 0 0 0 : slabdata 19 19 0
secpath_cache 142196 144640 128 32 1 : tunables 0 0 0 : slabdata 4520 4520 0
xfrm_dst_cache 0 0 320 25 2 : tunables 0 0 0 : slabdata 0 0 0
PING 0 0 960 34 8 : tunables 0 0 0 : slabdata 0 0 0
RAW 238 238 960 34 8 : tunables 0 0 0 : slabdata 7 7 0
tw_sock_TCP 102 102 240 34 2 : tunables 0 0 0 : slabdata 3 3 0
request_sock_TCP 208 208 304 26 2 : tunables 0 0 0 : slabdata 8 8 0
TCP 120 120 2176 15 8 : tunables 0 0 0 : slabdata 8 8 0
hugetlbfs_inode_cache 27 27 600 27 4 : tunables 0 0 0 : slabdata 1 1 0
eventpoll_pwq 448 448 72 56 1 : tunables 0 0 0 : slabdata 8 8 0
inotify_inode_mark 408 408 80 51 1 : tunables 0 0 0 : slabdata 8 8 0
dax_cache 21 21 768 21 4 : tunables 0 0 0 : slabdata 1 1 0
request_queue 26 26 2416 13 8 : tunables 0 0 0 : slabdata 2 2 0
blkdev_requests 0 0 312 26 2 : tunables 0 0 0 : slabdata 0 0 0
blkdev_ioc 312 312 104 39 1 : tunables 0 0 0 : slabdata 8 8 0
biovec-max 92 92 8192 4 8 : tunables 0 0 0 : slabdata 23 23 0
biovec-128 16 16 2048 16 8 : tunables 0 0 0 : slabdata 1 1 0
biovec-64 256 256 1024 32 8 : tunables 0 0 0 : slabdata 8 8 0
ksm_mm_slot 730957 731085 48 85 1 : tunables 0 0 0 : slabdata 8601 8601 0
user_namespace 0 0 464 35 4 : tunables 0 0 0 : slabdata 0 0 0
dmaengine-unmap-256 15 15 2112 15 8 : tunables 0 0 0 : slabdata 1 1 0
dmaengine-unmap-128 30 30 1088 30 8 : tunables 0 0 0 : slabdata 1 1 0
dmaengine-unmap-16 1743 1743 192 21 1 : tunables 0 0 0 : slabdata 83 83 0
dmaengine-unmap-2 512 512 64 64 1 : tunables 0 0 0 : slabdata 8 8 0
sock_inode_cache 425 425 640 25 4 : tunables 0 0 0 : slabdata 17 17 0
skbuff_fclone_cache 288 288 512 32 4 : tunables 0 0 0 : slabdata 9 9 0
skbuff_head_cache 17122 17184 256 32 2 : tunables 0 0 0 : slabdata 537 537 0
file_lock_cache 160 160 200 20 1 : tunables 0 0 0 : slabdata 8 8 0
fsnotify_mark_connector 1360 1360 24 170 1 : tunables 0 0 0 : slabdata 8 8 0
net_namespace 5 5 5696 5 8 : tunables 0 0 0 : slabdata 1 1 0
taskstats 192 192 328 24 2 : tunables 0 0 0 : slabdata 8 8 0
proc_dir_entry 1176 1176 192 21 1 : tunables 0 0 0 : slabdata 56 56 0
pde_opener 816 816 40 102 1 : tunables 0 0 0 : slabdata 8 8 0
proc_inode_cache 2904 2904 664 24 4 : tunables 0 0 0 : slabdata 121 121 0
sigqueue 200 200 160 25 1 : tunables 0 0 0 : slabdata 8 8 0
bdev_cache 234 234 832 39 8 : tunables 0 0 0 : slabdata 6 6 0
shmem_inode_cache 3762 4320 680 24 4 : tunables 0 0 0 : slabdata 180 180 0
kernfs_node_cache 30990 30990 136 30 1 : tunables 0 0 0 : slabdata 1033 1033 0
mnt_cache 252 252 384 21 2 : tunables 0 0 0 : slabdata 12 12 0
filp 2817 3040 256 32 2 : tunables 0 0 0 : slabdata 95 95 0
inode_cache 6453 6453 592 27 4 : tunables 0 0 0 : slabdata 239 239 0
dentry 27767 35238 192 21 1 : tunables 0 0 0 : slabdata 1678 1678 0
names_cache 64 64 4096 8 8 : tunables 0 0 0 : slabdata 8 8 0
iint_cache 0 0 120 34 1 : tunables 0 0 0 : slabdata 0 0 0
buffer_head 37947 37947 104 39 1 : tunables 0 0 0 : slabdata 973 973 0
uts_namespace 0 0 440 37 4 : tunables 0 0 0 : slabdata 0 0 0
mm_struct 256 256 1024 32 8 : tunables 0 0 0 : slabdata 8 8 0
files_cache 207 207 704 23 4 : tunables 0 0 0 : slabdata 9 9 0
signal_cache 540 540 1088 30 8 : tunables 0 0 0 : slabdata 18 18 0
sighand_cache 405 405 2112 15 8 : tunables 0 0 0 : slabdata 27 27 0
task_struct 316 366 5312 6 8 : tunables 0 0 0 : slabdata 61 61 0
cred_jar 4706 5103 192 21 1 : tunables 0 0 0 : slabdata 243 243 0
anon_vma_chain 7397 8256 64 64 1 : tunables 0 0 0 : slabdata 129 129 0
anon_vma 4876 5060 88 46 1 : tunables 0 0 0 : slabdata 110 110 0
pid 672 672 128 32 1 : tunables 0 0 0 : slabdata 21 21 0
Acpi-Operand 6048 6048 72 56 1 : tunables 0 0 0 : slabdata 108 108 0
Acpi-Parse 788783 793145 56 73 1 : tunables 0 0 0 : slabdata 10865 10865 0
Acpi-State 459 459 80 51 1 : tunables 0 0 0 : slabdata 9 9 0
Acpi-Namespace 4284 4284 40 102 1 : tunables 0 0 0 : slabdata 42 42 0
pool_workqueue 960 960 256 32 2 : tunables 0 0 0 : slabdata 30 30 0
radix_tree_node 2884 2884 584 28 4 : tunables 0 0 0 : slabdata 103 103 0
task_group 0 0 768 21 4 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-8192 0 0 8192 4 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-4096 0 0 4096 8 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-2048 0 0 2048 16 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-1024 0 0 1024 32 8 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-512 0 0 512 32 4 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-256 0 0 256 32 2 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-128 0 0 128 32 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-64 0 0 64 64 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-32 0 0 32 128 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-16 0 0 16 256 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-8 0 0 8 512 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-192 0 0 192 21 1 : tunables 0 0 0 : slabdata 0 0 0
dma-kmalloc-96 0 0 96 42 1 : tunables 0 0 0 : slabdata 0 0 0
kmalloc-8192 528 528 8192 4 8 : tunables 0 0 0 : slabdata 132 132 0
kmalloc-4096 336 360 4096 8 8 : tunables 0 0 0 : slabdata 45 45 0
kmalloc-2048 18119 18144 2048 16 8 : tunables 0 0 0 : slabdata 1134 1134 0
kmalloc-1024 7162 7264 1024 32 8 : tunables 0 0 0 : slabdata 227 227 0
kmalloc-512 8965 9536 512 32 4 : tunables 0 0 0 : slabdata 298 298 0
kmalloc-256 94466 95040 256 32 2 : tunables 0 0 0 : slabdata 2970 2970 0
kmalloc-192 14175 20391 192 21 1 : tunables 0 0 0 : slabdata 971 971 0
kmalloc-128 27011 39744 128 32 1 : tunables 0 0 0 : slabdata 1242 1242 0
kmalloc-96 92267 99036 96 42 1 : tunables 0 0 0 : slabdata 2358 2358 0
kmalloc-64 11520 11520 64 64 1 : tunables 0 0 0 : slabdata 180 180 0
kmalloc-32 13297 14720 32 128 1 : tunables 0 0 0 : slabdata 115 115 0
kmalloc-16 26580 28928 16 256 1 : tunables 0 0 0 : slabdata 113 113 0
kmalloc-8 7168 7168 8 512 1 : tunables 0 0 0 : slabdata 14 14 0
kmem_cache_node 384 384 64 64 1 : tunables 0 0 0 : slabdata 6 6 0
kmem_cache 189 189 384 21 2 : tunables 0 0 0 : slabdata 9 9 0

@paulojrandrade, seems problem exactly with frr. Are you using 1.2 rolling or 1.2.2? Provide show version please

Hello, thanks again for replying.
This information I sent is from a BGP, improved after disabling inbound soft-reconfiguration, RAM consumption is rising, but less than before when inbound soft-reconfiguration was enabled.

Version: VyOS 1.2.1-S2
Built by: Sentrium S.L.
Built on: Tue 18 Jun 2019 20:40 UTC
Build UUID: 86ffee8c-9c8f-4f5d-b374-f384cf9a93e6
Build Commit ID: 29f6a92ed1df90-dirty

Architecture: x86_64
Boot via: installed image
System type: VMware guest

Hardware Vendor: VMware, Inc.
Hardware model: VMware Virtual Platform
Hardware Y / N: VMware-56 4d 79 24 8f 91 2e d9-f2 ab f6 bb a9 cb 72 82
UUID Hardware: 24794d56-918f-d92e-f2ab-f6bba9cb7282

Copyright: VyOS maintainers and contributors

#################################

This other BGP also disabled inbound soft-reconfiguration, after 6 days RAM consumption stabilized at 2GB

Version: VyOS 1.2.1-S2
Built by: Sentrium S.L.
Built on: Tue 18 Jun 2019 20:40 UTC
Build UUID: 86ffee8c-9c8f-4f5d-b374-f384cf9a93e6
Build Commit ID: 29f6a92ed1df90-dirty

Architecture: x86_64
Boot via: installed image
System type: VMware guest

Hardware Vendor: VMware, Inc.
Hardware model: VMware Virtual Platform
Hardware Y / N: VMware-56 4d b9 49 99 c6 6d 1e-19 c4 20 50 6d 75 97 4b
UUID Hardware: 49b94d56-c699-1e6d-19c4-20506d75974b

Copyright: VyOS maintainers and contributors

The difference is only in the hardware applied.
01-Dell R740 + VMware
02- HP Proliant DL360G7 + VMware


Server BGP 02


Server BGP 01