memory usage

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

memory usage

Vieri
Hi,

On a Squid server I'm seeing how the buffer mem usage is steadily growing.

I'm running out of free memory.

top - 08:34:25 up 37 days,  1:00,  2 users,  load average: 1.39, 1.27, 1.36
Tasks: 340 total,   1 running, 339 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.6 us,  0.2 sy,  0.0 ni, 97.1 id,  0.0 wa,  0.0 hi,  2.0 si,  0.0 st
KiB Mem : 32865056 total,  1290836 free,  2768896 used, 28805324 buff/cache
KiB Swap: 37036988 total, 36864784 free,   172204 used. 29598916 avail Mem

PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
24461 squid     20   0  185632  98884  12724 S   1.3  0.3   0:10.68 squid
24464 squid     20   0   41808   7832   5756 S   1.3  0.0   0:06.82 ssl_crtd
23809 suricata  20   0 2128940 355196   7228 S   0.7  1.1   0:12.19 Suricata-Main
24067 nobody    20   0   67600  13688   6228 S   0.7  0.0   0:00.17 policyd-spf
28110 named     20   0  811544 157968   7308 S   0.7  0.5  95:07.45 named
8000 mysql     20   0 4645052 638484   8300 S   0.3  1.9 377:43.12 mysqld
23645 postfix   23   3 1022224 526076   4284 S   0.3  1.6   0:15.28 clamd
23755 postfix   20   0  201200  83956  10348 S   0.3  0.3   0:02.33 mimedefang.pl
24061 postfix   20   0  146600  11620   9756 S   0.3  0.0   0:00.11 smtpd
24489 squid     20   0   68972  15396   6404 S   0.3  0.0   0:01.34 squid_url_looku
25202 root      20   0  294616   5572   4388 S   0.3  0.0   0:02.29 syslog-ng
27846 root      20   0   20252   2924   2180 R   0.3  0.0   0:00.03 top
27886 root      20   0  221996   8960   6804 S   0.3  0.0   3:43.46 nmbd
1 root      20   0    4176   1588   1508 S   0.0  0.0   0:19.16 init
[...]

# ps aux --sort -rss | head -n 20
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
mysql     8000  0.7  1.9 4645052 638484 ?      Ssl  Aug30 377:42 /usr/sbin/mysqld --defaults-file=/etc/mysql/my.cnf
postfix  23645  5.9  1.6 1022224 526036 ?      SNsl 08:29   0:14 /usr/sbin/clamd
suricata 23809  5.3  1.0 2128940 355196 ?      Ssl  08:30   0:11 /usr/bin/suricata --pidfile /var/run/suricata/suricata.pid -D -c /etc/suricata/suricata-HMAN.yaml -vvvv -q 0 -q 1 -q 2 -q 3 -q 4 -q 5 --set logging.outputs.1.file.filename=/var/log/suricata/suricata.log --user=suricata --group=suricata -l /var/log/suricata
named    28110  0.7  0.4 811544 157968 ?       Ssl  Sep27  95:07 /usr/sbin/named -u named
postgres 10502  0.0  0.4 202192 140904 ?       Ss   Aug30   0:59 postgres: checkpointer process
postgres 10503  0.0  0.4 201816 136828 ?       Ss   Aug30   0:17 postgres: writer process
squid    24461  5.4  0.2 181140 93988 ?        S    08:30   0:09 (squid-1) -YC -f /etc/squid/squid.conf -n squid
postfix  23755  0.9  0.2 201200 83948 ?        S    08:29   0:02 /usr/bin/perl /usr/bin/mimedefang.pl -server
postfix  23778  0.1  0.1 114564 39804 ?        S    08:29   0:00 /usr/bin/perl /usr/bin/mimedefang.pl -server
root     32046  0.0  0.1 353280 34384 ?        Ss   Sep15   0:48 /usr/sbin/apache2 -D DEFAULT_VHOST -D INFO -D SSL -D SSL_DEFAULT_VHOST -D LANGUAGE -D PHP -D PERL -D LDAP -D AUTHNZ_LDAP -D AUTH_KERB -d /usr/lib64/apache2 -f /etc/apache2/httpd.conf -k start
root     24322  0.3  0.0 810308 30316 ?        Sl   08:30   0:00 /usr/libexec/c-icap
root     27896  0.0  0.0 313080 28884 ?        S    Sep18   5:34 /usr/sbin/winbindd
squid    24094  0.3  0.0 111336 27396 ?        S    08:30   0:00 (squid-1) -YC -f /etc/squid/squid.owa2.conf -n squidowa2
apache   17435  0.0  0.0 360228 22264 ?        S    03:16   0:00 /usr/sbin/apache2 -D DEFAULT_VHOST -D INFO -D SSL -D SSL_DEFAULT_VHOST -D LANGUAGE -D PHP -D PERL -D LDAP -D AUTHNZ_LDAP -D AUTH_KERB -d /usr/lib64/apache2 -f /etc/apache2/httpd.conf -k start
apache    7477  0.0  0.0 360088 22140 ?        S    07:58   0:00 /usr/sbin/apache2 -D DEFAULT_VHOST -D INFO -D SSL -D SSL_DEFAULT_VHOST -D LANGUAGE -D PHP -D PERL -D LDAP -D AUTHNZ_LDAP -D AUTH_KERB -d /usr/lib64/apache2 -f /etc/apache2/httpd.conf -k start
apache   15963  0.0  0.0 360088 21920 ?        S    00:44   0:00 /usr/sbin/apache2 -D DEFAULT_VHOST -D INFO -D SSL -D SSL_DEFAULT_VHOST -D LANGUAGE -D PHP -D PERL -D LDAP -D AUTHNZ_LDAP -D AUTH_KERB -d /usr/lib64/apache2 -f /etc/apache2/httpd.conf -k start
apache    2064  0.0  0.0 360112 21908 ?        S    02:36   0:00 /usr/sbin/apache2 -D DEFAULT_VHOST -D INFO -D SSL -D SSL_DEFAULT_VHOST -D LANGUAGE -D PHP -D PERL -D LDAP -D AUTHNZ_LDAP -D AUTH_KERB -d /usr/lib64/apache2 -f /etc/apache2/httpd.conf -k start
apache   20307  0.0  0.0 360088 21884 ?        S    03:24   0:00 /usr/sbin/apache2 -D DEFAULT_VHOST -D INFO -D SSL -D SSL_DEFAULT_VHOST -D LANGUAGE -D PHP -D PERL -D LDAP -D AUTHNZ_LDAP -D AUTH_KERB -d /usr/lib64/apache2 -f /etc/apache2/httpd.conf -k start
apache    5871  0.0  0.0 360084 21876 ?        S    06:16   0:00 /usr/sbin/apache2 -D DEFAULT_VHOST -D INFO -D SSL -D SSL_DEFAULT_VHOST -D LANGUAGE -D PHP -D PERL -D LDAP -D AUTHNZ_LDAP -D AUTH_KERB -d /usr/lib64/apache2 -f /etc/apache2/httpd.conf -k start

I'm not familiar with how the Linux kernel manages memory, so I don't know if the "buff/cache" memory is easily reusable by user processes.
In other words, should I worry or not if the value of "free" (in top) drops that much?

I not sure how I'm supposed to interpret the output of the ps commands above.
For example, the sum of %MEM is usually between 5 and 10%. Shouldn't this mean that the overall system is not requiring that much RAM?

Also, my squid settings are quite modest in that I have this in the conf file:

cache_dir diskd /var/cache/squid 32 16 256
cache_mem 32 MB

# squidclient mgr:info
Squid Object Cache: Version 3.5.27-20170916-re69e56c
Build Info:
Service Name: squid
Start Time:     Fri, 06 Oct 2017 06:30:43 GMT
Current Time:   Fri, 06 Oct 2017 06:57:52 GMT
Connection information for squid:
Number of clients accessing cache:      210
Number of HTTP requests received:       29492
Number of ICP messages received:        0
Number of ICP messages sent:    0
Number of queued ICP replies:   0
Number of HTCP messages received:       0
Number of HTCP messages sent:   0
Request failure ratio:   0.00
Average HTTP requests per minute since start:   1086.1
Average ICP messages per minute since start:    0.0
Select loop called: 1024430 times, 1.590 ms avg
Cache information for squid:
Hits as % of all requests:      5min: 0.4%, 60min: 2.5%
Hits as % of bytes sent:        5min: 7.5%, 60min: -1.6%
Memory hits as % of hit requests:       5min: 96.2%, 60min: 77.8%
Disk hits as % of hit requests: 5min: 0.0%, 60min: 1.2%
Storage Swap size:      29488 KB
Storage Swap capacity:  90.0% used, 10.0% free
Storage Mem size:       22700 KB
Storage Mem capacity:   69.3% used, 30.7% free
Mean Object Size:       15.44 KB
Requests given to unlinkd:      301
Median Service Times (seconds)  5 min    60 min:
HTTP Requests (All):   0.19742  0.17711
Cache Misses:          0.18699  0.17711
Cache Hits:            0.00091  0.00000
Near Hits:             0.00000  0.07409
Not-Modified Replies:  0.00000  0.00000
DNS Lookups:           0.07968  0.07284
ICP Queries:           0.00000  0.00000
Resource usage for squid:
UP Time:        1629.229 seconds
CPU Time:       65.180 seconds
CPU Usage:      4.00%
CPU Usage, 5 minute avg:        5.20%
CPU Usage, 60 minute avg:       4.01%
Maximum Resident Size: 603104 KB
Page faults with physical i/o: 0
Memory accounted for:
Total accounted:        74309 KB
memPoolAlloc calls:   9509851
memPoolFree calls:    9664141
File descriptor usage for squid:
Maximum number of file descriptors:   16384
Largest file desc currently in use:    931
Number of file desc currently in use:  545
Files queued for open:                   0
Available number of file descriptors: 15839
Reserved number of file descriptors:   100
Store Disk files open:                   0
Internal Data Structures:
2115 StoreEntries
2110 StoreEntries with MemObjects
1957 Hot Object Cache Items
1910 on-disk objects

# squidclient mgr:storedir
Store Directory Statistics:
Store Entries          : 2102
Maximum Swap Size      : 32768 KB
Current Store Swap Size: 29496.00 KB
Current Capacity       : 90.01% used, 9.99% free

Store Directory #0 (diskd): /var/cache/squid
FS Block Size 4096 Bytes
First level subdirectories: 16
Second level subdirectories: 256
Maximum Size: 32768 KB
Current Size: 29496.00 KB
Percent Used: 90.01%
Filemap bits in use: 1925 of 16384 (12%)
Filesystem Space in use: 42594564/192108884 KB (22%)
Filesystem Inodes in use: 449220/12271616 (4%)
Flags: SELECTED
Pending operations: 0
Removal policy: lru
LRU reference age: 0.01 days

# squidclient mgr:mem
Current memory usage:
Pool     Obj Size       Chunks                                                  Allocated                                       In Use                      Idle                     Allocations Saved                       Rate
(bytes)        KB/ch    obj/ch (#)      used    free    part    %Frag   (#)     (KB)    high (KB)       high (hrs)      %Tot   (#)      (KB)    high (KB)    high (hrs)      %alloc (#)      (KB)    high (KB)      (#)      %cnt    %vol   (#)/sec
64K Buffer               65536                                                           373     23872   23872   0.01    32.714  350     22400   23872   0.01 93.834  23      1472    2304    33339   0.325   35.810  0.000
mem_node                 4136                                                            5630    22740   28621   0.25    31.163  5342    21577   28621   0.25 94.885  288     1164    3280    67899   0.663   4.603   0.000
32K Buffer               32768                                                           132     4224    4224    0.00    5.789   123     3936    4224    0.00 93.182  9       288     608     7093    0.069   3.809   0.000
16K Buffer               16384                                                           178     2848    4352    0.10    3.903   162     2592    4352    0.10 91.011  16      256     1104    24973   0.244   6.706   0.000
8K Buffer                8192                                                            323     2584    3704    0.08    3.541   278     2224    3704    0.08 86.068  45      360     888     32120   0.313   4.313   0.000
ExternalACLEntry          256                                                            8882    2221    2221    0.00    3.043   8882    2221    2221    0.00 100.000         0       0       953     29      0.000   0.000   0.000
16KB Strings             16384                                                           136     2176    2960    0.28    2.982   133     2128    2960    0.28 97.794  3       48      1744    9421    0.092   2.530   0.000
Short Strings              40                                                            55363   2163    2364    0.06    2.964   53894   2106    2364    0.06 97.347  1469    58      149     5660653         55.232  3.711   0.004
4K Buffer                4096                                                            425     1700    2888    0.08    2.330   377     1508    2888    0.08 88.706  48      192     928     41198   0.402   2.766   0.000
HttpHeaderEntry            56                                                            24057   1316    1438    0.06    1.803   23388   1280    1438    0.06 97.219  669     37      98      1449821         14.146  1.331   0.001
2K Buffer                2048                                                            510     1020    1126    0.06    1.398   490     980     1126    0.06 96.078  20      40      140     508424  4.961   17.066  0.000
Medium Strings            128                                                            5756    720     758     0.06    0.986   5514    690     758     0.06 95.796  242     31      63      314095  3.065   0.659   0.000
MemObject                 328                                                            2089    670     745     0.06    0.917   1987    637     745     0.06 95.117  102     33      73      28094   0.274   0.151   0.000
4KB Strings              4096                                                            165     660     1264    0.10    0.904   136     544     1264    0.10 82.424  29      116     628     26392   0.258   1.772   0.000
HttpReply                 280                                                            2336    639     699     0.06    0.875   2226    609     699     0.06 95.291  110     31      62      119177  1.163   0.547   0.000
HttpRequest              1784                                                            306     534     896     0.10    0.731   269     469     896     0.10 87.908  37      65      267     70466   0.688   2.060   0.000
Long Strings              512                                                            820     410     502     0.10    0.562   764     382     502     0.10 93.171  56      28      136     90774   0.886   0.762   0.000
StoreEntry                104                                                            2095    213     244     0.43    0.292   1994    203     244     0.43 95.179  101     11      33      28987   0.283   0.049   0.000
cbdata BodyPipe (36)      152                                                            1391    207     231     0.06    0.283   1326    197     231     0.06 95.327  65      10      23      23923   0.233   0.060   0.000
cbdata clientReplyContext (26)   4352                                                            40      170     425     0.10    0.233   13      56      425 0.10     32.500  27      115     391     30365   0.296   2.166   0.000
cbdata Server (21)        520                                                            332     169     253     0.10    0.231   311     158     253     0.10 93.675  21      11      122     11522   0.112   0.098   0.000
cbdata ClientSocketContext (25)  4256                                                            40      167     416     0.10    0.228   13      55      416 0.10     32.500  27      113     383     30365   0.296   2.118   0.000
Comm::Connection          200                                                            801     157     228     0.10    0.214   716     140     228     0.10 89.388  85      17      63      62443   0.609   0.205   0.000
cbdata MemBuf (12)         64                                                            2392    150     163     0.06    0.205   2271    142     163     0.06 94.941  121     8       15      180573  1.762   0.189   0.000
fqdncache_entry           160                                                            750     118     119     0.01    0.161   748     117     119     0.01 99.733  2       1       4       3145    0.031   0.008   0.000
HttpHdrCc                  96                                                            1170    110     124     0.07    0.150   1116    105     124     0.07 95.385  54      6       14      53676   0.524   0.084   0.000
1KB Strings              1024                                                            109     109     139     0.08    0.149   85      85      139     0.08 77.982  24      24      73      11630   0.113   0.195   0.000
cbdata IdleConnList (18)         4160                                                            26      106     163     0.39    0.145   24      98      163 0.39     92.308  2       9       122     1471    0.014   0.100   0.000
MemBlob                    48                                                            2028    96      157     0.10    0.130   1844    87      157     0.10 90.927  184     9       45      332112  3.240   0.261   0.000
ClientInfo                448                                                            213     94      94      0.00    0.128   213     94      94      0.00 100.000         0       0       0       0       0.000   0.000   0.000
netdbEntry                168                                                            564     93      93      0.00    0.127   564     93      93      0.00 100.000         0       0       0       0       0.000   0.000   0.000
LRU policy node            24                                                            3720    88      99      0.06    0.119   3577    84      99      0.06 96.156  143     4       10      5255    0.051   0.002   0.000
ipcache_entry             128                                                            658     83      83      0.02    0.113   656     82      83      0.02 99.696  2       1       2       1698    0.017   0.004   0.000
cbdata idns_query (9)    8696                                                            8       68      332     0.16    0.093   0       0       332     0.16 0.000   8       68      332     7908    0.077   1.127   0.000
cbdata ModXact (41)       512                                                            70      35      35      0.00    0.048   63      32      35      0.00 90.000  7       4       9       15463   0.151   0.130   0.000
MD5 digest                 16                                                            2095    33      38      0.43    0.045   1994    32      38      0.43 95.179  101     2       6       34226   0.334   0.009   0.000
net_db_name                32                                                            993     32      32      0.00    0.043   993     32      32      0.00 100.000         0       0       0       0       0.000   0.000   0.000
cbdata store_client (31)          160                                                            189     30      62      0.10    0.040   150     24      62  0.10     79.365  39      7       27      32142   0.314   0.084   0.000
NotePairs::Entry           48                                                            549     26      26      0.02    0.035   546     26      26      0.02 99.454  3       1       7       2516    0.025   0.002   0.000
MimeEntry                 128                                                            177     23      23      0.48    0.030   177     23      23      0.48 100.000         0       0       23      177     0.002   0.000   0.000
cbdata ClientHttpRequest (24)     392                                                            47      18      46      0.10    0.025   14      6       46  0.10     29.787  33      13      35      30303   0.296   0.195   0.000
cbdata ServerBump (30)    104                                                            167     17      38      0.10    0.023   140     15      38      0.10 83.832  27      3       17      8496    0.083   0.014   0.000
cbdata clientStreamNode (27)      128                                                            80      10      25      0.10    0.014   26      4       25  0.10     32.500  54      7       23      60730   0.593   0.127   0.000
cbdata helper_server (11)         240                                                            35      9       9       0.48    0.011   35      9       9   0.48     100.000         0       0       9       35      0.000   0.000   0.000
cbdata HttpStateData (38)         320                                                            26      9       14      0.40    0.011   8       3       14  0.40     30.769  18      6       11      15629   0.152   0.082   0.000
Acl::AndNode              160                                                            44      7       7       0.48    0.009   44      7       7       0.48 100.000         0       0       7       44      0.000   0.000   0.000
cbdata FwdState (32)      176                                                            39      7       16      0.10    0.009   12      3       16      0.10 30.769  27      5       15      23864   0.233   0.069   0.000
ACLStrategised            160                                                            19      3       3       0.48    0.004   19      3       3       0.48 100.000         0       0       3       19      0.000   0.000   0.000
cbdata ACLFilledChecklist (23)    464                                                            6       3       8       0.40    0.004   0       0       8   0.40     0.000   6       3       8       86432   0.843   0.657   0.000
cbdata ConnOpener (34)    136                                                            19      3       6       0.10    0.003   3       1       6       0.10 15.789  16      3       6       9967    0.097   0.022   0.000
cbdata Tree (4)           216                                                            11      3       3       0.48    0.003   11      3       3       0.48 100.000         0       0       3       11      0.000   0.000   0.000
cbdata Iterator (39)      168                                                            14      3       4       0.40    0.003   7       2       4       0.40 50.000  7       2       4       15496   0.151   0.043   0.000
Acl::NotNode              160                                                            14      3       3       0.48    0.003   14      3       3       0.48 100.000         0       0       3       14      0.000   0.000   0.000
cbdata ModXactLauncher (40)       160                                                            14      3       4       0.40    0.003   7       2       4   0.40     50.000  7       2       4       15496   0.151   0.041   0.000
cbdata PeerConnector (35)         136                                                            13      2       9       0.10    0.002   1       1       9   0.10     7.692   12      2       9       8148    0.080   0.018   0.000
acl_ip_data                96                                                            18      2       2       0.48    0.002   18      2       2       0.48 100.000         0       0       2       64      0.001   0.000   0.000
cbdata WriteRequest (47)           80                                                            19      2       6       0.22    0.002   0       0       6   0.22     0.000   19      2       6       27074   0.264   0.035   0.000
RegexList                  88                                                            10      1       1       0.48    0.001   10      1       1       0.48 100.000         0       0       1       10      0.000   0.000   0.000
ACLSourceIP               144                                                            6       1       1       0.48    0.001   6       1       1       0.48 100.000         0       0       1       6       0.000   0.000   0.000
ACLStrategised            160                                                            5       1       1       0.48    0.001   5       1       1       0.48 100.000         0       0       1       5       0.000   0.000   0.000
cbdata AccessCheck (29)   152                                                            5       1       2       0.45    0.001   0       0       2       0.45 0.000   5       1       2       41171   0.402   0.103   0.000
ev_entry                   48                                                            15      1       1       0.45    0.001   14      1       1       0.45 93.333  1       1       1       4992    0.049   0.004   0.000
cbdata ServiceRep (17)    344                                                            2       1       1       0.32    0.001   2       1       1       0.32 100.000         0       0       0       0       0.000   0.000   0.000
cbdata ClientRequestContext (28)          104                                                            6       1       3       0.40    0.001   0       0   3        0.40    0.000   6       1       3       30446   0.297   0.052   0.000
cbdata helper (10)        168                                                            3       1       1       0.48    0.001   3       1       1       0.48 100.000         0       0       1       3       0.000   0.000   0.000
cbdata CbDataList (2)      40                                                            12      1       1       0.48    0.001   12      1       1       0.48 100.000         0       0       1       12      0.000   0.000   0.000
ACLExternal               152                                                            3       1       1       0.48    0.001   3       1       1       0.48 100.000         0       0       1       3       0.000   0.000   0.000
ACLStringData              56                                                            8       1       1       0.48    0.001   8       1       1       0.48 100.000         0       0       1       3       0.000   0.000   0.000
ACLRegexData               16                                                            25      1       1       0.48    0.001   25      1       1       0.48 100.000         0       0       1       9       0.000   0.000   0.000
cbdata CbDataList (1)      40                                                            10      1       1       0.48    0.001   10      1       1       0.48 100.000         0       0       1       10      0.000   0.000   0.000
cbdata external_acl (5)   192                                                            2       1       1       0.48    0.001   2       1       1       0.48 100.000         0       0       1       2       0.000   0.000   0.000
ACLCertificateData        120                                                            3       1       1       0.48    0.000   3       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
acl_name_list              72                                                            5       1       1       0.48    0.000   5       1       1       0.48 100.000         0       0       1       5       0.000   0.000   0.000
cbdata externalAclState (14)       88                                                            4       1       2       0.40    0.000   0       0       2   0.40     0.000   4       1       2       12863   0.126   0.019   0.000
cbdata Logfile (15)       352                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       1       1       0.000   0.000   0.000
cbdata UFSStoreState (44)         176                                                            2       1       2       0.46    0.000   0       0       2   0.46     0.000   2       1       2       5067    0.049   0.015   0.000
ACLStrategised            160                                                            2       1       1       0.48    0.000   2       1       1       0.48 100.000         0       0       1       2       0.000   0.000   0.000
cbdata TcpAcceptor (19)   104                                                            3       1       1       0.48    0.000   3       1       1       0.48 100.000         0       0       1       3       0.000   0.000   0.000
ACLDestinationIP          144                                                            2       1       1       0.48    0.000   2       1       1       0.48 100.000         0       0       1       2       0.000   0.000   0.000
cbdata generic_cbdata (22)         32                                                            9       1       2       0.16    0.000   0       0       2   0.16     0.000   9       1       2       12388   0.121   0.006   0.000
ACLUserData                64                                                            4       1       1       0.48    0.000   4       1       1       0.48 100.000         0       0       1       1       0.000   0.000   0.000
wordlist                   16                                                            16      1       2       0.32    0.000   16      1       2       0.32 100.000         0       0       1       232     0.002   0.000   0.000
cbdata ps_state (33)      256                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       24363   0.238   0.102   0.000
cbdata ErrorState (37)    240                                                            1       1       1       0.47    0.000   0       0       1       0.47 0.000   1       1       1       5833    0.057   0.023   0.000
cbdata RemovalPolicy (7)          104                                                            2       1       1       0.48    0.000   2       1       1   0.48     100.000         0       0       0       0       0.000   0.000   0.000
cbdata DiskdFile (45)     104                                                            2       1       1       0.46    0.000   0       0       1       0.46 0.000   2       1       1       5067    0.049   0.009   0.000
cbdata statefulhelper (13)        192                                                            1       1       1       0.48    0.000   1       1       1   0.48     100.000         0       0       0       0       0.000   0.000   0.000
Helper::Request            48                                                            4       1       1       0.40    0.000   0       0       1       0.40 0.000   4       1       1       21018   0.205   0.017   0.000
AclDenyInfoList            32                                                            5       1       1       0.48    0.000   5       1       1       0.48 100.000         0       0       1       5       0.000   0.000   0.000
ACLStrategised            160                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       1       1       0.000   0.000   0.000
ACLProxyAuth              152                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       1       1       0.000   0.000   0.000
ACLDomainData              16                                                            9       1       1       0.48    0.000   9       1       1       0.48 100.000         0       0       1       7       0.000   0.000   0.000
cbdata external_acl_data (6)       48                                                            3       1       1       0.48    0.000   3       1       1   0.48     100.000         0       0       1       3       0.000   0.000   0.000
external_acl_format        64                                                            2       1       1       0.48    0.000   2       1       1       0.48 100.000         0       0       1       2       0.000   0.000   0.000
cbdata StoreSearchHashIndex (20)          104                                                            1       1       1       0.48    0.000   1       1   1        0.48    100.000         0       0       1       0       0.000   0.000   0.000
ACLHTTPHeaderData          48                                                            2       1       1       0.48    0.000   2       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
ACLSslErrorData            16                                                            6       1       1       0.48    0.000   6       1       1       0.48 100.000         0       0       1       5       0.000   0.000   0.000
cbdata CbDataList (49)     96                                                            1       1       1       0.00    0.000   0       0       1       0.00 0.000   1       1       1       152     0.001   0.000   0.000
cbdata nsvc (8)            72                                                            1       1       1       0.46    0.000   1       1       1       0.46 100.000         0       0       1       7       0.000   0.000   0.000
StoreSwapLogData           72                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       11514   0.112   0.014   0.000
cbdata RemovalPurgeWalker (48)     72                                                            1       1       1       0.47    0.000   0       0       1   0.47     0.000   1       1       1       327     0.003   0.000   0.000
cbdata CbDataList (3)      64                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       1       1       0.000   0.000   0.000
dwrite_q                   48                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       11515   0.112   0.009   0.000
FwdServer                  24                                                            2       1       1       0.48    0.000   0       0       1       0.48 0.000   2       1       1       36749   0.359   0.014   0.000
ACLNoteData                40                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
CacheDigest                40                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
ACLHierCodeData            32                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
ACLMethodData              16                                                            2       1       1       0.48    0.000   2       1       1       0.48 100.000         0       0       1       1       0.000   0.000   0.000
ACLTimeData                32                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
ACLAtStepData              32                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
ACLASN                     16                                                            2       1       1       0.48    0.000   2       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
StoreMetaMD5               32                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       5021    0.049   0.003   0.000
StoreMetaSTDLFS            32                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       5021    0.049   0.003   0.000
StoreMetaURL               32                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       5021    0.049   0.003   0.000
StoreMetaObjSize           32                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       5021    0.049   0.003   0.000
UFSStoreState::_queued_write       32                                                            1       1       1       0.48    0.000   0       0       1   0.48     0.000   1       1       1       27583   0.269   0.014   0.000
StoreMetaVary              32                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       1427    0.014   0.001   0.000
ACLProtocolData            16                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
ACLServerNameData          16                                                            1       1       1       0.48    0.000   1       1       1       0.48 100.000         0       0       0       0       0.000   0.000   0.000
link_list                  16                                                            1       1       1       0.48    0.000   0       0       1       0.48 0.000   1       1       1       27583   0.269   0.007   0.000
HttpHdrContRange           24                                                            0       0       1       0.40    0.000   0       0       1       0.40 -1.000  0       0       1       103     0.001   0.000   0.000
cbdata RebuildState (16)          944                                                            0       0       1       0.48    0.000   0       0       1   0.48     -1.000  0       0       1       0       0.000   0.000   0.000
cbdata OptXactLauncher (42)       128                                                            0       0       1       0.48    0.000   0       0       1   0.48     -1.000  0       0       1       0       0.000   0.000   0.000
cbdata OptXact (43)       320                                                            0       0       1       0.48    0.000   0       0       1       0.48 -1.000  0       0       1       0       0.000   0.000   0.000
cbdata ReadRequest (46)    72                                                            0       0       1       0.46    0.000   0       0       1       0.46 -1.000  0       0       1       475     0.005   0.001   0.000
HttpHdrRange               32                                                            0       0       1       0.40    0.000   0       0       1       0.40 -1.000  0       0       1       74      0.001   0.000   0.000
HttpHdrRangeSpec           16                                                            0       0       1       0.40    0.000   0       0       1       0.40 -1.000  0       0       1       74      0.001   0.000   0.000
Total                       1                                                            128706  72971   76562   0.27    100.000         124250  68300   72692        0.28    93.598  4456    4672    7207    9956597         97.149  97.212  0.007
Cumulative allocated volume: 6.101 GB
Current overhead: 41067 bytes (0.059%)
Idle pool limit: 5.00 MB
Total Pools created: 131
Pools ever used:     127 (shown above)
Currently in use:    96
String Pool      Impact
(%strings)      (%volume)
Short Strings            89      33
Medium Strings           9       11
Long Strings             1       6
1KB Strings              0       1
4KB Strings              0       8
16KB Strings             0       33
Other Strings            0       8

Large buffers: 0 (0 KB)

Thanks,

Vieri
_______________________________________________
squid-users mailing list
[hidden email]
http://lists.squid-cache.org/listinfo/squid-users
Reply | Threaded
Open this post in threaded view
|

Re: memory usage

Amos Jeffries
Administrator
On 06/10/17 20:04, Vieri wrote:
> Hi,
>
> On a Squid server I'm seeing how the buffer mem usage is steadily growing.
>

You mean mem_node? or the "*K Buffers" entries?

The mem_node is used by cache_mem entries, in-transit objects and some
hot cache_dir index entries. So the value there need to be considered in
light of the info report value for how full cache_mem is:

 > Storage Mem size:       22700 KB
 > Storage Mem capacity:   69.3% used, 30.7% free

Which states that 30% of you cache_mem has yet to be filled. Until that
cache space reaches 100% mem_node will continue growing. If it continues
to grow significantly after that point then you might have a problem,
but definitely not before then.

You should also expect HttpRequest, HttpReply, StoreEntry,
HttpHeaderEntry and various Buffer and Strings allocations to increase
until that same point. These ones can be quite volatile, but no
significant long-term growth is expected once the memory cache is full.
ie changes in them should roughly match active traffic peaks and troughs
with a baseline relative to the amount used by cache_mem objects.
  [thats a *very* rough description of estimates, don't count on it
being predictable with a formula].

...
>
> I'm not familiar with how the Linux kernel manages memory, so I don't know if the "buff/cache" memory is easily reusable by user processes.
> In other words, should I worry or not if the value of "free" (in top) drops that much?

see my post in the other thread you started about that top report.

>
> I not sure how I'm supposed to interpret the output of the ps commands above.
> For example, the sum of %MEM is usually between 5 and 10%. Shouldn't this mean that the overall system is not requiring that much RAM?
>

Yes, exactly that.


Amos
_______________________________________________
squid-users mailing list
[hidden email]
http://lists.squid-cache.org/listinfo/squid-users