linux:textdateibehandlung

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Nächste Überarbeitung		 Vorhergehende Überarbeitung
linux:textdateibehandlung [2006/11/17 21:29] – stlinux:textdateibehandlung [2011/03/02 03:22] (aktuell) – [Anfang / Ende anzeigen] st
Zeile 1: Zeile 1:
 +====== Textdateien behandeln ======
 +Oft werden wir es mit Textdateien zu tun haben, dabei intessiert uns nur ein bestimmter Inhalt. Das können z.b. Log-Dateien sein oder Konfigurationsdateien. Hier erst einmal eine Übersicht:
 +
 +  * cat Datei(en): liest die Datei(en) aus und zeigt sie nacheinander an.
 +  * uniq: meldet oder löscht doppelte Zeilen
 +  * wc: zählt die Wörter, mit "-l" die Zeilen
 +
 +
 +
 +===== Seitenweise anzeigen =====
 +  more Datei
 +  less Datei (man kann zurückscrollen)
 +
 +==== Anfang / Ende anzeigen ====
 +
 +  head -n Anzahl Datei
 +Zeigt die ersten Anzahl Zeilen einer Datei an
 +
 +  tail [- n Anzahl] [-f] Datei
 +Zeigt die letzten Anzahl Zeilen einer Datei an. Die Option -f bewirkt, dass sich tail danach nicht beendet, sondern wartet ob neue Zeilen in die Datei geschrieben werden (z.b. von anderen Programmen). Diese Änderungen werden dann auch angezeigt. Abbruch mit CTRL-c. Nützlich um z. B. Apache- oder Syslog -files "live" zu beobachten.
 +
 +
 +
 +===== Durchsuchen =====
 +  grep Suchmuster Datei [Dateien]
 +**Grep durchsucht Datei[en] nach Suchmustern** und gibt die Zeilen der Datei[en] aus, wo das Suchmuster zutrifft.
 +Viele Funktionsschalter (z.B. ''-i'' für das Ignorieren der Großschreibung) machen das Program sehr nützlich.
 +
 +:!: grep -c zählt auch die Anzahl der Treffer
 +
 +siehe auch [[http://www.64-bit.de/dokumentationen/linux/010/suchen.html|Suchen in und nach Dateien]] und [[http://faq.jensbenecke.de/wiki/DateienSuchen|Wie finde ich Dateien?]]
 +Beispielweise sehr nützliche für mich ist der folgende Befehl zum durchsuchen von Dateien des aktuellen Verzeichnisses (und darunter) nach der bestimmten Zeichenkette "SUCHTEXT"
 +  find . -type f -exec egrep -i "SUCHTEXT" /dev/null {} \;
 +Schneller ist die Verwendung von ''xargs''. Anstatt bei jedem Treffer das entsprechenden Kommando (bei exec) aufzurufen, wird xargs einfach die Liste der Dateien übergeben und xargs ruft dann den angegebenen Befehl (''egrep -i "SUCHTEXT"'') mit der Dateiliste auf. Anstatt -exec anzugeben wird also einfach ''xargs'' aufgerufen:
 +  find . -type f | xargs egrep -i "SUCHTEXT"
 +
 +===== Sortieren =====
 +
 +  sort Kriterien Datei
 +Sortiert Datei nach Kriterien. Bsp: sort -t : -k 3 /etc/passwd sortiert die Datei /etc/passwd nach der dritten Spalte und verwendet den Doppelpunkt als Spaltentrenner
 +
 +
 +===== Text(-datenströme) bearbeiten =====
 +  * **[[wpde>awk]]**: Ähnlich zu sed. Es liest Dateien (oder von der Standardausgabe anderer Programme) zeilenweise, wendet Anweisungen auf jede Zeile an und schreibt das Ergebnis auf den Bildschirm. Das besondere an awk: es kennt “Spalten” (die in Datei z.b. durch Leerzeichen oder Tabulatoren kenntlich gemacht wurden). Mit awk kann man z.b. Einzelne Spalten anzeigen, Rechenoperationen anwenden und Spalten wieder ausgeben.
 +
 +  * **cut**: extrahiert Textspalten aus einer Datei (oder von der Standardausgabe anderer Programme). Beispiel: cut liest einzelne Spalten (hier die erste) aus einer Kommaseparierten Liste. <code>cut -d','\ -f1</code>
 +
 +  * **[[wpde>Sed (Unix)|sed]]**: liest Dateien (oder von der Standardausgabe anderer Programme), ändert den Inhalt entsprechend dem Kommando und schreibt das Ergebnis auf den Bildschirm. Die Datei bleibt unverändert. Beispiel: <code>sed s/baum/busch/ gehoelze</code> ersetzt alle Vorkommen von Baum durch Busch der Datei "gehoelze". 
 +
 +  * **tr**: Zeichen aus einem (Text-)Datenstrom konvertieren oder löschen 
 +
 +
 +===== Unterschiede anzeigen / einen Patch anwenden =====
 +  * **Unterschiede anzeigen**:
 +    * diff: zeigt Unterschiede zweier Textdateien an
 +    * sdiff: zeigt Unterschiede zweier Textdateien benutzerfreundlich nebeneinander an.
 +  * **einen Patch anwenden**: Wenn man mit diff den Unterschied zwischen zwei (Text)Dateien herausgefunden hat, kann man diese Differenz auf das Original anwenden ohne die geänderte Datei komplett zu übertragen.
 +
 +diff kann mehrere Formate erzeugen, im einfachsten Fall (ohne weitere Parameter) wird nur die geänderte Zeile und die Position angezeigt:
 +<file>
 +77c77
 +<       start-stop-daemon --stop --signal 1 --quiet --exec "$SYSLOGNG" --pidfile "$PIDFILE" || { echo " not running."; return 1; }
 +---
 +>       start-stop-daemon --stop --signal 1 --quiet --exec "$SYSLOGNG" --pidfile "$PIDFILE" || return 1
 +</file>
 +Das ist nun nicht sehr menschenlesbar und man erkennt auch nicht den Kontext den geänderten Zeile. Daher eignet sich das unified-Format (Option -u) besser.
 +
 +<box 100% round blue | Anwendungsbeispiel>
 +ein
 +  diff -u syslog-ng syslog-ng.new
 +ergibt die folgende Ausgabe
 +<file>
 +--- syslog-ng       2008-02-24 18:18:05.000000000 +0100
 ++++ syslog-ng.new   2008-02-24 18:20:45.000000000 +0100
 +@@ -74,7 +74,7 @@
 +     echo -n "Reload system logging: $NAME"
 +     if /sbin/syslog-ng -s
 +     then
 +-      start-stop-daemon --stop --signal 1 --quiet --exec "$SYSLOGNG" --pidfile "$PIDFILE" || return 1
 ++      start-stop-daemon --stop --signal 1 --quiet --exec "$SYSLOGNG" --pidfile "$PIDFILE" || { echo " not running."; return 1; }
 +       echo "."
 +       return 0
 +     else
 +</file>
 +hinten wurde also die Meldung "not running" eingefügt, falls [[software:syslog-ng]] nicht läuft. Die Zeile mit dem Minus als erstes Zeichen ist die alte Zeile und die mit dem Pluszeichen die Änderung. Diese Änderung kann man auch in eine Datei speichern:
 +  diff -u syslog-ng syslog-ng.new > syslog-ng.patch
 +und auf allen passenden Systemen mit dem Befehl patch anwenden:
 +  patch /etc/init.d/syslog-ng syslog-ng.patch
 +Der (erfolgreich) angewendete Patch wird nun nicht mehr benötigt.
 +</box>
 +
 +====== regular expressions (RegEx, reguläre Ausdrücke) ======
 +Ein [[wpde>Regulärer Ausdruck]] (engl. [[wp>Regular expression]]) ist in der Informatik lt. Wikipedia eine Zeichenkette, die der Beschreibung von Mengen beziehungsweise Untermengen von Zeichenketten mit Hilfe bestimmter syntaktischer Regeln dient.
 +Sie werden als Filter oder Schablone in fast allen Programmiersprachen verwendet.
 +
 +
 +===== Links =====
 +  * [[http://www.galileocomputing.de/openbook/it_handbuch/fachinformatiker_09_konzepte_programmierung_002.htm#mjaa206fb9e8cc0357975f3d91f0cedf6b|IT-Handbuch für Fachinformatiker: Reguläre Ausdrücke]]
 +  * [[http://www.ruthless.zathras.de/facts/coli/linuxcoli.php|Tools und RegEx an Beispielen]]
 +  * [[http://www.billposer.org/Software/redet.html|Redet Homepage]] (Reguläre Ausdrücke entwickeln und testen)
 +  * [[http://www.regular-expressions.info/|Regular-Expressions.info]]
 +  * http://www.amk.ca/python/howto/regex/|Regular Expression HOWTO (Autor: ein Namensvetter ^_^)
 +
 +
 +
 +
 +===== Syntax =====
 +
 +RegExps: Zeichenketten können durch Kombinationen von Regulären Ausdrücken flexibel beschrieben werden:
 +
 +^ Kriterium ^ Regulärer Ausdruck ^
 +| wirkt auf Ausdrücke am Zeilenanfang | <nowiki>^</nowiki> |
 +| wirkt auf Ausdrücke am Zeilenende | $ |
 +| Null oder mehrere beliebige Zeichen | * |
 +| Null oder mehrere Zeichen ("x") | [x]* |
 +| Ein Zeichen | ? |
 +| wirkt auf a //oder// b | a<nowiki>|</nowiki>b| 
 +| Ein oder kein Zeichen "x" | [x]? |
 +| Ein oder mehrere Zeichen ("x") | [x]+ |
 +| Genau 5 "x" | [x]{5} |
 +| Zwischen 6 und 12 "x" | [x]{6,12} |
 +| Genau ein beliebiges Zeichen | . |
 +| Ein Zeichen aus dieser Menge | A-Z a-z 0-9 [aeiou] usw.... |
 +
 +Die regulären Ausdrücke können mit (runden) Klammern gruppiert werden.
 +
 +:!: spezielle Zeichen (wie $ oder \ selber) müssen mit \ "escaped" werden, damit sie nicht von der Shell interpretiert werden.