[gelöst] ipv6 aus Dateien

[Huck Fin]

Moin,
ich suche in Dateien (Mails) nach ipv4 Adressen.
Funktioniert auch gut.
Beispiel

Code: Alles auswählen

grep 'Received: from' $dir2/* |grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" |uniq

Jetzt hätte ich das auch gerne für ipv6 Adressen und bekomme es nicht hin.
Kann mir jemand helfen ?

[reox]

Dachte erst das kann nicht so schwer sein, aber tatsächlich gibt es gefühlt 1000 Formate wie die Adresse in dem Header drin steht...
meistens sind die Adressen in eckigen Klammern, mache haben aber stattdessen () oder ??...
Manche Server schreiben offenbar IPv6: vor v6 Adressen, andere nicht.
Adressen wie ::1 sind schwer zu matchen...
Der Received: from kann glaube ich sogar über mehrere Zeilen gehen.

Ich bin mir daher nicht sicher, ob man da mit einer Regex weiter kommt. Evt macht es mehr Sinn das in einem Script abzuhandeln und die verschiedenen Formate zu parsen.

[MSfree]

Vielleicht ist hier was dabei:
https://stackoverflow.com/questions/534 ... -addresses

[cosinus]

Jetzt hätte ich das auch gerne für ipv6 Adressen und bekomme es nicht hin.

Probier mal

Code: Alles auswählen

grep Received | grep -iEo '([0-9a-f]{1,4}:{1,2}){1,8}[0-9a-f]{1,4}'

Aber '::1' wird wirklich schwierig...

[Huck Fin]

Fast gut.
Kann man irgendwie nur Ergebnisse mit mindestens 4 mal Doppelpunkt ausgeben ?

[cosinus]

Meinst du so?

Code: Alles auswählen

grep -iEo '([0-9a-f]{1,4}:{1,2}){4,8}[0-9a-f]{1,4}'

oder das hier:

Code: Alles auswählen

grep -iEo '([0-9a-f]{1,4}:{1,2}){4}[0-9a-f]{1,4}'

könnte auch klappen.

[Huck Fin]

Sehr gut.
Einziges Problem noch ist, dass er ipv6:
eine ip dann mit 6: anfängt (er entfernt das ipv).
Aber dass kann ich verschmerzen.
Danke

[reox]

Du kannst ja das "IPv6:" davon als optional matchen.

Die Regex matched halt auch nur längere Adressen. Sowas wie 2a01:23::1 findet der nicht. Sowas kommt vllt selten vor, aber ::ffff:[...] hab ich durchaus gesehen.

[cosinus]

Sowas wie 2a01:23::1 findet der nicht.

Dann müsste man die Quantoren etwas anpassen

[Livingston]

Code: Alles auswählen

grep "^Received: from" | sed 's/[Ii][Pp][Vv]6://g' | grep -Eo '[0-9a-fA-F]{0,4}(:[0-9a-fA-F]{0,4}){2,7}' | grep -Ev '\b[0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2}\b' | grep -Ev ':::'

• Killt das störende "IPv6:"
• Matcht nach 0- bis 4-stelliger Hex-Zahl
• Matcht nach 2- bis 7-maligem Vorkommen von ":xxxx" (xxxx darf leer sein)
• Sortiert Uhrzeiten aus
• Sortiert unzulässige Kombinationen von 3 oder mehr Doppelpunkten aus

Damit ist der Fall erledigt, dass ein Zahlenblock am Anfang oder am Ende nicht erfasst wird. Außerdem müssen insgesamt mindestens 2 Doppelpunkte vorhanden sein. Sollte reichen, um eine IPv6-Adresse zu charakterisieren.

Hier lässt sich noch nacharbeiten:
Doppel-Doppelpunkte dürfen nur 1x vorkommen.
Wenn es mehr als 8 Blöcke sind, ist auch was faul.
Zu kurze Angaben wie 1234:5678:9abc müssten auch noch verboten werden.

KORRIGIERT:
Wortgrenzen aus erstem grep entfernt.

[Huck Fin]

Danke.
Funzt wunderbar...

[cosinus]

Code: Alles auswählen

grep "^Received: from" | sed 's/[Ii][Pp][Vv]6://g' | grep -Eo '[0-9a-fA-F]{0,4}(:[0-9a-fA-F]{0,4}){2,7}' | grep -Ev '\b[0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2}\b' | grep -Ev ':::'

• Killt das störende "IPv6:"
• Matcht nach 0- bis 4-stelliger Hex-Zahl
• Matcht nach 2- bis 7-maligem Vorkommen von ":xxxx" (xxxx darf leer sein)
• Sortiert Uhrzeiten aus
• Sortiert unzulässige Kombinationen von 3 oder mehr Doppelpunkten aus

Exzellent, Mr Livingston!

[Huck Fin]

K. A. ob es interessier...
Hintergrund ist, dass jemand von Fail2ban ständig gesperrt wird.
Schuld ist die IOS Nextcloud App.
Der Server mit der Nextcloud steht im Office.
Jetzt kann die Person eine Mail an eine bestimmte Mailadresse senden (whitelist@) und in der Mail ist automatisch die öffentliche IP vom Sendenden PC.
Das Script sammelt die IPs aus den Mails und setzt diese dann in den ignoreip von Fail2ban
Ausserdem lösche ich alle Mails älter 5 Tage.

[Livingston]

Exzellent, Mr Livingston!

Wenn schon, dann bitte Sir Livingston!

[cosinus]

Exzellent, Mr Livingston!

Wenn schon, dann bitte Sir Livingston!

Jawohl Sir

[Livingston]

Kleiner Nachschlag:
Beim ersten grep-Matching habe ich die Wortgrenzen '\b...\b' rausgenommen, da ich statt des anfänglichen grep "^Received: from" zum Testen einfach ipv6-Adressen mit echo in die Pipe gepustet habe. Mit echo ::1 kam dann aber mit '\b...\b' nix raus. Bin mir nicht sicher, warum. Liegt vielleicht daran, dass vor dem Ausdruck keine Wortgrenze liegt.
Fällt da noch wem eine elegante Lösung ein?

Irgendwie ist das megakomplex. Ich glaube mit Python und der Lib ipaddress.py geht das alles viel kürzer und knapper. ---> https://docs.python.org/3/library/ipaddress.html

[cosinus]

Irgendwie ist das megakomplex.

Hat die KI keine Lösung dafür? ChatGPT? Oder DeppGPT?

[Livingston]

Immerhin besteht die vage Hoffnung, dass das DF den Turingtest besteht. Bei Deppenchat ist das nicht so klar:
https://www.heise.de/news/Turing-Test-S ... 46845.html
Da frag ich doch lieber mal hier.

[tobo]

Kleiner Nachschlag:
Beim ersten grep-Matching habe ich die Wortgrenzen '\b...\b' rausgenommen, da ich statt des anfänglichen grep "^Received: from" zum Testen einfach ipv6-Adressen mit echo in die Pipe gepustet habe. Mit echo ::1 kam dann aber mit '\b...\b' nix raus. Bin mir nicht sicher, warum. Liegt vielleicht daran, dass vor dem Ausdruck keine Wortgrenze liegt.

So ein Wort besteht ja aus "\b\w+\b", also "Wortgrenze Wortzeichen+ Wortgrenze". Das funktioniert auch mit Wortanfang und Wortende (\<, \>), aber ein Wortzeichen muss halt schon dabei sein. Willst du "::1" finden (auch am Zeichenkettenanfang), dann könntest du vielleicht sowas wie grep -Po "(^|\W)\K[0-9a-fA-F]{0,4}..." benutzen, mit \W=[^0-9a-zA-Z] als Nichtwortzeichen und \K (PCRE), was die Übereinstimmung davor verwirft. Oder auf die IPv6-Thematik ausgedehnt vielleicht sowas: grep -Po "(^|\W|[iI][pP][vV]6)\K[0-9a-fA-F]{0,4}...".

[Livingston]

Danke, tobo, das ist ein Sprung nach vorne. Ich habe aber leider noch weitere Macken entdeckt. Der Uhrzeit-Filter ist dabei noch das Harmloseste. Statt Wortgrenzen kann man hier "^...$" setzen, weil an dieser Stelle der Pipe ohnehin nur ein einziger, geschlossener String auftaucht.
Überlange Nummern sind jedoch ein Problem, auch Strings mit mehr als 8 Hexfeldern: Sie werden einfach abgeschnitten.

Für Huck Fin's Hausgebrauch reicht das alles, aber der kleine Perfektionist in mir hat jetzt Blut gerochen. Wenn ich fertig bin, mache ich 'nen neuen Thread auf.

[cosinus]

Könntest du nicht auch die Großbuchstaben A-F wegrationalisieren, wenn du grep mit -i aufrufst?

[Livingston]

Könntest du nicht auch die Großbuchstaben A-F wegrationalisieren, wenn du grep mit -i aufrufst?

Jep, oder gleich [[:alnum:]] verwenden