…
delay_pools 3

#delay pool 0.5M
delay_class 2 2
delay_access 2 allow zone_1
delay_access 2 allow zone_2
delay_access 2 deny all
delay_parameters 2 16000/65536 -1/-1

#delay pool 5M
delay_class 1 2
delay_access 1 allow zone_3
delay_access 1 deny all
delay_parameters 1 80000/5242880 -1/-1

#delay pool 1M
delay_class 1 2
delay_access 1 allow zone_4
delay_parameters 1 131072/131072 -1/-1
#no_cache deny all
…

tritt häufiger (mehrmals Täglich je nach Auslastung) mal die folgende Fehlermeldung auf

2012/01/26 14:40:27| TunnelStateData::Connection::error: FD 217: read/write failure: (32) Broken pipe
2012/01/26 15:19:11| Preparing for shutdown after 4947583 requests

mit dem Resultat, dass der Squid seinen Dienst quittiert!!!

Ich habe echt alles versucht aber die einzige Lösung war ein Downgrade auf Squid 2.7 – danach ist das Problem nie wieder aufgetreten.

Reproduzieren kann man das ganze so:

Squid 3.1.1 utilizing cpu (near 100%) when client using CONNECT & hitting delay pool.

How to reproduce:

1. Install squid 3.1.1
2. Add delay pool to specific host.
3. Using CONNECT to download any file from this host.
4. See cpu utilization on proxy when download in progress.

Das ganze ist wirklich sehr einfach:

root@client1:~# cat /usr/lib/ruby/1.8/facter/packages.rb
# packages.rb

Facter.add(“pakete”) do
setcode do
Facter::Util::Resolution.exec(“dpkg -l | grep ^ii | awk ‘{print $2, $3}’”).chomp
end
end

Sieht dann so aus:

root@client1:~# facter pakete
acpi 1.5-2
acpi-support-base 0.137-5
acpid 1:2.0.7-1squeeze3
adduser 3.112+nmu2
apt 0.8.10.3+squeeze1
apt-utils 0.8.10.3+squeeze1
aptitude 0.6.3-3.2+squeeze1
aspell 0.60.6-4
aspell-de 20091006-4.2
aspell-de-alt 1:2-26
augeas-lenses 0.7.2-1
base-files 6.0squeeze4
….
….
….

Click here to view the video on YouTube.

1. Pakete installieren

apt-get install kvm qemu-kvm libvirt-bin virtinst

2. User anlegen

adduser `id -un` libvirt
adduser `id -un` kvm

3. Testen

root@kvm01:~# virsh
Welcome to virsh, the virtualization interactive terminal.

Type: ‘help’ for help with commands
‘quit’ to quit

virsh # list
Id Name State
———————————-

virsh #

4. Netzwerk/Brigdeging konfigurieren

apt-get install bridge-utils

5. Bridge erstellen (editieren von /etc/network/interfaces)

root@kvm01:~# cat /etc/network/interfaces

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
#allow-hotplug eth0
#iface eth0 inet dhcp
auto eth0
iface eth0 inet manual

auto br0
iface br0 inet static
address 192.168.100.106
network 192.168.100.0
netmask 255.255.255.0
broadcast 192.168.100.255
gateway 192.168.100.1
bridge_ports eth0
bridge_fd 9
bridge_hello 2
bridge_maxage 12
bridge_stp off

6. Netzwerkumgebung neu starten

/etc/init.d/networking restart

7. Interfaces checken

root@kvm01:~# ifconfig
br0 Link encap:Ethernet Hardware Adresse 54:04:a6:0f:a7:e6
inet Adresse:192.168.100.106 Bcast:192.168.100.255 Maske:255.255.255.0
inet6-Adresse: fe80::5604:a6ff:fe0f:a7e6/64 Gültigkeitsbereich:Verbindung
UP BROADCAST RUNNING MULTICAST MTU:1500 Metrik:1
RX packets:9375049 errors:0 dropped:0 overruns:0 frame:0
TX packets:3974089 errors:0 dropped:0 overruns:0 carrier:0
Kollisionen:0 Sendewarteschlangenlänge:0
RX bytes:1795813518 (1.6 GiB) TX bytes:914114279 (871.7 MiB)

eth0 Link encap:Ethernet Hardware Adresse 54:04:a6:0f:a7:e6
inet6-Adresse: fe80::5604:a6ff:fe0f:a7e6/64 Gültigkeitsbereich:Verbindung
UP BROADCAST RUNNING MULTICAST MTU:1500 Metrik:1
RX packets:12016071 errors:0 dropped:0 overruns:0 frame:0
TX packets:6706789 errors:0 dropped:0 overruns:0 carrier:7
Kollisionen:0 Sendewarteschlangenlänge:1000
RX bytes:4303081585 (4.0 GiB) TX bytes:1825342025 (1.6 GiB)
Interrupt:27

lo Link encap:Lokale Schleife
inet Adresse:127.0.0.1 Maske:255.0.0.0
inet6-Adresse: ::1/128 Gültigkeitsbereich:Maschine
UP LOOPBACK RUNNING MTU:16436 Metrik:1
RX packets:289220 errors:0 dropped:0 overruns:0 frame:0
TX packets:289220 errors:0 dropped:0 overruns:0 carrier:0
Kollisionen:0 Sendewarteschlangenlänge:0
RX bytes:140129915 (133.6 MiB) TX bytes:140129915 (133.6 MiB)

8. Virt-manager installieren

Da ich kein X auf einem solchen System haben möchte nutze ich den virt-manager per XMING auf einem Windows Desktop

apt-get install virt-manager
export DISPLAY=192.168.100.112:0.0

(192.168.100.112 ist die IP des Windows Systems wo Xming drauf läuft)

That’s IT

1. Sources von dotdeb hinzufügen zu /etc/apt/sources.list

deb http://packages.dotdeb.org stable all
deb-src http://packages.dotdeb.org stable all

2. Apt-key für dotdeb

wget -O – http://www.dotdeb.org/dotdeb.gpg | apt-key add -

apt-get update

3. Nginx installieren

apt-get install nginx-extras

4. Konfigurieren

server {
listen 80;
server_name DOMAIN.COM;
access_log /var/log/nginx/access.log main;
error_log /var/log/nginx/error.log;
# Main location
location / {
proxy_pass http://BACKEND:PORT/;
proxy_redirect off;
proxy_set_header Host BACKEND-SERVER-IP;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
}
server {
listen 80;
server_name http://www.DOMAIN.COM;
location / {
rewrite ^(.*)$ http://DOMAIN.COM$1 permanent;
access_log off;
}
}

5. Backend konfigurieren

auf dem Backend ist es wichtig bzw sehr nützlich das folgendes gesetzt wird

set_real_ip_from BACKEN-SERVER-IP;

ansonsten wird in den Logs immer die IP Adresse des Reverse Proxy angezeigt.
Für statistiken ehr ungeeignet …

Die vorläufige Lösung, welche in mehreren Schritten voran getrieben wird, setzt sich aus den folgenden opensource Tools zusammen:

- Puppetmaster
- Puppetagent
- Foreman (mit Passenger)
- Forman-proxy
- MCollective

Die Anleitung folgt so gleich …

# Authentifizierung an Active Directory
auth_param basic program /usr/lib/squid3/squid_ldap_auth -R -b “dc=LOCAL,dc=DOMAIN” -D “USER@DOMAIN.LOCAL” -w “PASSWORT” -f “(sAMAccountName=%s)” -h IP_ADRESSE:3268
auth_param basic children 5
auth_param basic realm “Proxy Authentifizierung. Bitte geben Sie Ihren Benutzername und Ihr Passwort ein!”
auth_param basic credentialsttl 2 hours
external_acl_type InetGroup %LOGIN /usr/lib/squid3/squid_ldap_group -R -P -b “dc=DOMAIN,dc=LOCAL” -D “USER@DOMAIN.LOCAL” -w “PASSWORT” -f “(&(objectclass=person)(sAMAccountName=%v) (memberof=cn=%a,ou=GRUPPE,dc=DOMAIN,dc=LOCAL))” -h IP_ADRESSE:3268

acl localnet proxy_auth REQUIRED
acl InetAccess external InetGroup INTERNET_GRUPPE
http_access allow InetAccess

Alles was “FETT” markiert ist muss durch individuelle Daten ersetzt werden!

Ich habe ein Template im Cacti Forum gefunden allerdings scheint sich etwas geändert zu haben an den MIB/OID seit der AQV.6 da ich keine Werte bekommen habe. Mittels MIBfile und MIBbrowser habe ich die richtigen OIDs ermittelt und ein neues Template erstellt.

Das ganze sollte auch mit der patch 6 von USG 100 / 200 / 300 und 2000 funktionieren, allerdings habe ich dies nicht getestet.

Überwacht wird -> TRAFFIC / CPU / MEM / SESSIONS / VPN TROUGHPUT

Hier das Hosttemplate:

-> DOWNLOAD <-

opencms:/var# pvs
PV VG Fmt Attr PSize PFree
/dev/sda1 vg_data lvm2 a- 20,00g 12,00g
/dev/sdb1 vg_system lvm2 a- 10,00g 6,27g

opencms:/var# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
var vg_data -wi-ao 8,00g
root vg_system -wi-ao 2,79g
swap vg_system -wi-ao 952,00m

opencms:/var# df -h
Dateisystem Size Used Avail Use% Eingehängt auf
/dev/mapper/vg_system-root 2,8G 1,2G 1,5G 46% /
tmpfs 502M 0 502M 0% /lib/init/rw
udev 497M 108K 497M 1% /dev
tmpfs 502M 0 502M 0% /dev/shm
/dev/mapper/vg_data-var 7,9G 6,0G 1,9G 81% /var

Zabbix (Monitoring) gibt eine Info raus sobald der Plattenplatz einer Partition mehr als 80% belegt.

Vergrößern:

opencms:/var# lvresize -L +2GB /dev/vg_data/var
Extending logical volume var to 10,00 GiB
Logical volume var successfully resized

Filesystem resizen:

opencms:/var# resize2fs -p /dev/mapper/vg_data-var
resize2fs 1.41.12 (17-May-2010)
Das Dateisystem auf /dev/mapper/vg_data-var ist auf /var eingehängt; Online-Grössenveränderung nötig
old desc_blocks = 1, new_desc_blocks = 1
Führe eine Online-Grössenänderung von /dev/mapper/vg_data-var auf 2621440 (4k) Blöcke durch.
Das Dateisystem auf /dev/mapper/vg_data-var ist nun 2621440 Blöcke groß.

Checken:

opencms:/var# df -h
Dateisystem Size Used Avail Use% Eingehängt auf
/dev/mapper/vg_system-root 2,8G 1,2G 1,5G 46% /
tmpfs 502M 0 502M 0% /lib/init/rw
udev 497M 108K 497M 1% /dev
tmpfs 502M 0 502M 0% /dev/shm
/dev/mapper/vg_data-var 9,9G 6,0G 3,6G 64% /var

Und schon haben wir wieder etwas mehr Platz …