Inhaltsverzeichnis

Docker

Docker ist eine Open-Source-Software zur Isolierung von Anwendungen mit Containervirtualisierung.

Docker vereinfacht die Bereitstellung von Anwendungen, weil sich Container, die alle nötigen Pakete enthalten, leicht als Dateien transportieren und installieren lassen. Container gewährleisten die Trennung und Verwaltung der auf einem Rechner genutzten Ressourcen. Das beinhaltet laut Aussage der Entwickler: Code, Laufzeitmodul, Systemwerkzeuge, Systembibliotheken – alles was auf einem Rechner installiert werden kann.

Quelle Wikipedia

Docker Einsatz

Vorteile:

Nachteile:

Welche Software ist geeignet?

geeignet:

  1. eigenprogrammierte Software mit CI/CD-Deployment
  2. microservice-Architektur
  3. stateless services

eher nicht

  1. Drittanbietersoftware ohne microservices
  2. stateful-software wo Skalierung unerwünscht oder kontraproduktiv ist

Was sind Probleme die gelöst werden müssen?

  1. config via environment… boolean parsing … keine komplexen configs (nur key-value) → mount-points mit komplexer Config → Clusterdateisystem?
  2. cron (logging)
  3. container bestehen nicht nur aus der app sondern auch die Laufzeit-umgebung: wer anderen Leuten docker-container baut ist auch für das environment (=die base-Images) verantwortlich!
  4. Alpine veröffentlich nur Daten zu bereits zu gefixten Problemen! Updategeschwindigkeit eher schlecht: Liste

siehe auch DevOps Disasters.

Einrichtung

Bevorzugte Methode ist die Einbindung via repo, fast immer ist die bei Distributionen mitgelieferte Version zu alt.

Siehe Installationshandbuch, z.B. Ubuntu oder Debian.

docker-compose

https://docs.docker.com/compose/install/

docker ohne root ausführen

Aktuellen Benutzer zur Gruppe docker hinzufügen 

sudo usermod -aG docker $USER

→ ausloggen und einloggen nötig

Kernel Kompatibilität

Docker braucht mindestens die Kernel Version 3.10. Ob die richtigen Konfiguration aktiviert ist, lässt sich mit dem Skript check-config.sh überprüfen: 

curl https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh > check-config.sh
bash ./check-config.sh

bei Ubuntu 18.04 nötig:

/etc/default/grub: 

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash cgroup_enable=memory swapaccount=1"
sudo update-grub

Optional:

Testen ob cgroup-memory limit wirkt

docker run -m=4096000000 -d  -t busybox sleep 3600

cat /sys/fs/cgroup/memory/docker/$ID/memory.limit_in_bytes

…mit tatsächlichem Prozess (Quelle https://stackoverflow.com/questions/20096632/limit-memory-on-a-docker-container-doesnt-work): 

sudo docker -m 512M -it ubuntu /bin/bash
sudo apt-get update && apt-get install -y build-essential vim

→ vim foo.c: 

#include <stdlib.h>
#include <stdio.h>

int main(void) {
    int i;
    for (i=0; i<65536; i++) {
        char *q = malloc(65536);
        printf ("Malloced: %ld\n", 65536*i);
    }
    sleep(9999999);
}

Compile the file 

gcc -o foo foo.c
./foo

lokale Netze von Docker schützen (swarm)

Beispiel: lokal nur noch das Netz 10.254.0.1/16 benutzen: 

(als root) echo '{"bip": "10.254.0.1/16"}' > /etc/docker/daemon.json
sudo systemctl restart docker.service

Routingkonflikte mit docker networks (IPv4)

Netze die sich mit Docker überlappen (172.17., …) sind ein Problem. Die Config „bip“: „10.4.0.1/16“ in der /etc/docker/daemon.json funktioniert nur auf swarm korrekt.

Bei docker standalone wird diese Einstellung beim Anlegen weiterer docker networks ignoriert. Auch andere Einstellungen wie default-address-pools oder fixed-cidr funktioniered in dieser Beziehung nicht.

Es gibt nur einen funktionierenden workaround: explizit eine route im System setzen:

Beispiel Redhat (ens192 mit Standard-GW 172.17.0.1) z.B. mit /etc/sysconfig/network-scripts/route-ens192 (ip-Befehlssyntax)): 

172.17.0.0/16 via 172.17.0.1 dev ens192

​ Bei Swarm muss initial die docker_gwbridge angepasst werden - funktioniert nur wenn docker nicht bereits Teil eines swarm-clusters ist (er behält die Einstellungen bei wenn bereits vorhanden):

  1. löschen der vorhandene bridge (falls noch vorhanden): 
    docker network rm docker_gwbridge
  2. neu anlegen mit anderem Netz (muss vor join erfolgen!):
    docker network create \
--subnet 10.4.0.0/16 \
--opt com.docker.network.bridge.name=docker_gwbridge \
--opt com.docker.network.bridge.enable_icc=false \
--opt com.docker.network.bridge.enable_ip_masquerade=true \
docker_gwbridge

https://docs.docker.com/v17.09/engine/swarm/networking/#customize-the-docker_gwbridge

docker Apparmor

docker wendet für Gäste das Profil docker-default an.

Dazu wird beim Starten eines Containers ein docker-default template in tmpfs abgelegt und von dort in den Kernel geladen.

Oder es wird das Profil benutzt, das via security-opt angegeben wurde: 

docker run --rm -it --security-opt apparmor=docker-default hello-world

.

Für den docker daemon selbst wird aktuell kein apparmor-Profil geladen.

Doku: AppArmor security profiles for Docker

Benutzung

Container Laufzeitbefehle

Container:

Container via netzwerk anbinden

Container exposen via Netzwerk: 

docker run -d -p host_ip:host_port:container_port --name NAME image_name

Beispiel (offizielles redis-image): 

docker run -d -p 6379:6379 --name redis redis

Netzwerke

Container via Firewall absichern

Wenn Container nach Außen exposed werden, legt Docker entsprechende Iptables-Regeln an. Diese lassen sich leider nicht anpassen, nur das anlegen von iptables-Regeln abschalten mit –iptables=false.

Docker (ab Version 17.06) hat aber für iptables die chain DOCKER-USER erdacht. Dort hinterlegte Regeln werden zuerst durchlaufen und von docker in Ruhe gelassen. Dort können also Regel hinterlegt und permanent gemacht werden (mittels mit iptables-persistent).

Beispiel für Port 9200 (Elasticsearch): 

iptables -I DOCKER-USER 1 -i eth0 -s 91.213.91.0/24 -p TCP --dport 9200 -j ACCEPT
iptables -I DOCKER-USER 2 -i eth0 -p TCP --dport 9200 -j LOG --log-prefix "Port9200ExtBlock:" --log-level 6
iptables -I DOCKER-USER 3 -i eth0 -p TCP --dport 9200 -j REJECT

Löschen wäre (hier Regel nr.1):

iptables -D DOCKER-USER 1 usw.

Auflistung aktuell gültiger Regeln: 

iptables -L -n --line-numbers

Diagnose /Statistiken/ Informationen

Container auflisten:

Logging

Logging ist bei docker vielfältig konfigurierbar. 

docker logs $ID

„docker logs“ funktioniert abwer nicht mit anderen loggin driver als json-file und journald.

Image startet nicht

überschreibt den entrypoint aus dem image, einloggen mit bash ist möglich:

docker-compose.yml: 

entrypoint:
  - "/usr/bin/tail"
  - "-f"
  - "/dev/null"

Compose-file via systemd starten

compose-File liegt hier: /srv/compose-files/meinDocker-service.yml unitfile: /etc/systemd/system/meinDocker.service : 

[Unit]
Description=meinDockerService
Requires=docker.service
After=docker.service

[Service]
Restart=always
#User=root
#Group=docker
# add group to user: usermod -a -G docker <user>
# Shutdown container (if running) when unit is stopped
ExecStartPre=/usr/bin/docker-compose -f /srv/compose-files/meinDocker-service.yml down -v
# Start container when unit is started
ExecStart=/usr/bin/docker-compose -f /srv/compose-files/meinDocker-service.yml up
# Stop container when unit is stopped
ExecStop=/usr/bin/docker-compose -f /srv/compose-files/meinDocker-service.yml down -v
[Install]
WantedBy=multi-user.target

Dienst laden, starten und autostart aktivieren: 

systemctl daemon-reload
systemctl start docker-datadog.service
systemctl enable docker-datadog.service

Image-handling

Docker images anzeigen: 

docker image ls

image erstellen

Dockerfile ↔ Docker Compose file image bauen ↔ image deployen

Beispiele:

  1. Image „ubuntu“ holen + starten (-d im Hintergrund): 
    docker run -d -ti ubuntu /bin/sh -c "while true; do echo hello world; sleep 1; done"
  2. docker run -d ubuntu /bin/sh -c "apt-get install -y hello"
  1. docker run hello/world

image erstellen (mit Dockerfile):

image aus docker-compose-file erstellen: 

docker-compose -f $COMPOSE-FILE.yaml up

image aus Dockerfile erstellen:

  1. Dockerfile anlegen und ins Verzeichnis wechseln (tag latest wird angehängt)
    FROM base
RUN apt-get install hello
CMD hello
    docker build $USER/$IMAGENAME .
  2. oder Pfad zu meinDockerfile angeben: → docker build -t meineHalloApp -f meinDockerfile
  3. docker build -t meineHalloApp .

image aus laufendem container erstellen

best practises image-bau

  1. allgemein bei docker images: Prozess sollte als PID 1 laufen damit es die Signale bekommt (SIGTERM, …)
  2. möglichst wenige RUNs: (neue files, neue layers)
  3. tini als init-system damit die bash nicht uid 1 wird (und damit nicht loggt weil sie denkt init zu sein):
    1. NOTE: If you are using Docker 1.13 or greater, Tini is included in Docker itself. This includes all versions of Docker CE. To enable Tini, just pass the –init flag to docker run.
  4. ReadMe.md anlegen im git-Repo

Schlecht:

  1. config-file ins image und dann kein vollwertiges base-linux drinhaben (nur per export auslesbar)
  2. config-file extern als volume einhängen (liegt auf host rum…)

gut:

  1. config als extra layer einbauen das das install-Image aus einer registry benutzt und dann schnell neu gebaut werden kann
  2. jedes image kommt aus einem eigenen repository (erleichert automatisierten image neubau, was wurde wann zuletzt benutzt, gebaut?)

Registries benutzen

neben der öffentluchen Standard-registry von hub.docker.com können weitere registries verwendet werden. Insbesondere wenn die images privat sein sollen und um zu verhindern das durch externe Fehler Applikationen ihren Betrieb einstellen.

  1. offizielle registry (öffentlich): https://hub.docker.com/explore/
  2. privates Repo auf docker hub mit Anmeldung:
    1. eigene Registry: 
      docker login https://meine.registry.de
    2. mehr als ein privates Repo erfordert Geldeinsatz
  4. Docker Trusted Registry enthalten in Docker Enterprise Edition
  5. Docker Registry als Dienst
  6. Registry 2.0 (Roadmap) soll der Nachfolger werden
  7. weitere Software
    1. z.B. gitlab container registry (ab v.8.8): https://about.gitlab.com/2016/05/23/gitlab-container-registry/ https://docs.gitlab.com/ee/administration/container_registry.html
unsichere registry

unsichere registries sollten nicht benutzt werden, aber falls weder verschlüsselung noch Login gewünscht ist:

Datei /etc/docker/daemon.json: 

{    "insecure-registries": ["unsicher.registry.de:80"] }

Restart Docker: 

sudo systemctl restart docker.service

image in registry committen

image löschen

docker rm $short_id

Image exportieren

Methode 1 (docker save): 

docker save --output="registry-cleanup.tar" $IMAGE

$IMAGE z.B. hello/world, :!: das tar-archiv enthält aber „nur“ die einzelnen layer (in jeweils tar-Archiven)

Methode 2 (docker export) (laufendes image exportieren):

Image importieren

aus tar.gz-Archiv: 

zcat NAME.tar.gz | docker import - NAME

Beispiele für images

Volume-handling

Im Gegensatz zu den flüchtigen Containern sind volumes geeignet permanente Daten aufzunehmen („persistent storage“).

-v /tmp/data:/data

docker vs. podman

networking:

  1. bridge (Standard für rootful container) → internes Interface mit NAT
  2. macvlan (bridge mit eigener mac + IP auf interface, erfordert rootful
  3. slirp4netns (Standard für rootless containers) → Tunnel durch TAP device (containers are completely isolated from each other! no virtual network

v4/v6/dualstack:

  1. podman macht IPv4, v6 oder Dualstack (v4 + v6)
  2. docker does ipv4 OR (ipv4 and ipv6), nur v6 geht nicht!

docker swarm

docker secret ls

mkfs.xfs -f -n ftype=1 $disk

docker vsphere plugin4): 

docker plugin install --grant-all-permissions --alias vsphere vmware/vsphere-storage-for-docker:latest

Deployments in stacks

traeffik

Wartung

Leider nimmt docker keine automatischen Aufräumarbeiten vor. Deshalb muss manuell (ggf. via cronjobs) nachgeholfen werden:

/etc/cron.d/cleanimages 

0 4 * * * root docker rmi $(docker images -q) > /dev/null

etwas radikaler ist der folgende Befehl: 

docker system prune -a
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all images without at least one container associated to them
  - all build cache
 
Are you sure you want to continue? [y/N] y

IPv6

Docker hat beim Design IPv6 nicht berücksichtigt und daher schlagen dessen Simplifizierungen (Ports durch NAT via iptables nach Außen geben und interne DNS-Auflösung) in Nachteile um. docker unterstützt kein SLAAC oder DHCPv6 und kann daher nicht selbstständig Präfixe beziehen, d.h. es müssen statische IPs zugewiesen werden und diese via DNS propagiert werden (DNS auf die öffentliche IP des docker-Hosts reicht nicht mehr!). Hiermit werden jedoch sämtliche Ports öffentlich zugänglich gemacht (nicht nur diese via EXPOSE) und müssen daher via firewall abgesichert werden.

NAT66 (analog zu v4) mit Adressen aus dem Unique Local Addresses (ULA)-Bereich fd00::/8 Adressen ist eine schlechte Idee und führt zu Problemen, auch der userland-proxy ist Mist.

Funktionierende Lösungen:

Siehe auch: https://heikorichter.name/post/123/docker-und-ipv6/

:!: Für IPv6-only ist dank der Rückständigkeit bei Dritten (Docker registry, Github etc.) Krücken wie DNS64 + NAT64 nötig.

Clustering

Zum orchestrieren von docker container steht das integrierte docker swarm zur Verfügung. Mittlerweile hat sich Kubernetes für diese Aufgaben etabliert, da es deutlich mehr Funktionen (aber auch mehr Komplexität) mit sich bringt.

docker swarm

Initialiseren: 

docker swarm init
"Swarm initialized: current node (n352jdg9eoml9nh5ak574izs5) is now a manager.

To add a worker to this swarm, run the following command:

<code bash>docker swarm join --token SWMTKN-1-4a8ilhha4g652ll28ecg7z4pyxdvglnicufxlj2mh5l5ly5nm3-7s7yvbki7m9pfi2yzafter6l6 10.10.0.23:2377</code>

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions."

In diesem Beispiel reicht zum Beitritt

  1. als node: 
    docker swarm join --token SWMTKN-1-4a8ilhha4g652ll28ecg7z4pyxdvglnicufxlj2mh5l5ly5nm3-7s7yvbki7m9pfi2yzafter6l6 10.10.0.23:2377
  2. oder als weiteren manager die folgende Ausgabe auszuführen:
    docker swarm join-token manager

Aus dem docker swarm austreten:

*Informationen über sich selbst anzeigen: 

docker node inspect self

Nodes

Nodes sind

  1. Active (neue tasks können zugewiesen werden)
  2. Pause (keine neuen, aber bestehende tasks bleiben)
  3. Drain (keine neuen, und existiere task werden heruntergefahren. 
    docker node update --availability drain node1

Nodes managen:

Manager

Manager sind

  1. Reachable
  2. Unavailable
  3. Leader
docker stack ls
NAME                SERVICES
content-sync        2

Services

Labels

Labels: (wo fährt was hoch?), Beispiel: nur hochfahren wenn label db1 auf der node vorhanden ist: 

   deploy:
      placement:
        constraints:
          - node.labels.db1 == TRUE
  1. Label hinzufügen: 
    docker node update --label-add LABEL1
  2. Label updaten: 
    docker node update --label-add LABEL2=TEST node1

Zusatztools

docker-machine

docker-machine ist ein tool um docker-Hosts zu provisionieren (auf denen dann docker container laufen können).

1)
Tastenkombination ändern mit: https://docs.docker.com/engine/reference/commandline/attach/#override-the-detach-sequence
2)
Alias in der Shell anlegen: 
alias dl='docker ps -l -q'
3)
oder bzw. bei älteren Versionen:
docker volume rm $(docker volume ls -f dangling=true -q)
siehe auch: https://stackoverflow.com/questions/18496940/how-to-deal-with-persistent-storage-e-g-databases-in-docker?rq=1
4)
Achtung: wenn sich container in unterschiedlichen services/stacks die gleichen Volumes haben wollen kommt es zu cluster-Instabilitäten