7MB/s mit Gigabit-Netzwerk

[ManuP]

Hi!

Ich habe zwei Rechner (beide debian lenny, 64bit) die über einen Netgear-Switch (Gigabit) verbunden sind.
Leider habe ich nur eine Übertragungsrate von 7MB/s.
Beide Karten sowie der Switch machen Gigabit.

ethtool gibt:

Code: Alles auswählen

Settings for eth1:
	Supported ports: [ MII ]
	Supported link modes:   10baseT/Half 10baseT/Full 
	                        100baseT/Half 100baseT/Full 
	                        1000baseT/Half 1000baseT/Full 
	Supports auto-negotiation: Yes
	Advertised link modes:  10baseT/Half 10baseT/Full 
	                        100baseT/Half 100baseT/Full 
	                        1000baseT/Half 1000baseT/Full 
	Advertised auto-negotiation: Yes
	Speed: 1000Mb/s
	Duplex: Full
	Port: Twisted Pair
	PHYAD: 1
	Transceiver: internal
	Auto-negotiation: on
	Supports Wake-on: g
	Wake-on: d
	Current message level: 0x000000ff (255)
	Link detected: yes

mii-tool:

Code: Alles auswählen

eth1: negotiated 1000baseT-HD flow-control, link ok

Auf dem einen Rechner (desktop) ist ein Verzeichnis mit nfs freigegben. Die eine Festplatte schafft 40MB/s, die andere knapp doppelt so viel (werte mit hdparm ermittelt).

Wie bekomme ich mehr Geschwindigkeit? Das ich 120MB/s nicht schaffe, ist mir klar, aber so 30 MB/s sollten doch drin sein, oder?

Gruß Manu

btw:
warum klappt das nicht:

Code: Alles auswählen

netperf -H 192.168.1.44
establish control: are you sure there is a netserver listening on 192.168.1.44 at port 12865?
establish_control could not establish the control connection from 0.0.0.0 port 0 address family AF_UNSPEC to 192.168.1.44 port 12865 address family AF_UNSPEC

[mistersixt]

Wie sieht die Übertragung via ftp aus? ftp hat weniger "Overhead" als NFS und ist vermutlich aussagekräftiger.

Gruss, mistersixt.

PS: Ich hatte mal Realtek-Gigabit-Karten der ersten Generation, die haben generell nur ca. 20-25 MB/s geschafft, dann habe ich etwas Geld in die Hand genommen und Intel-karten gekauft und siehe da: 65-70 MB/s - bei ansonsten gleichen Rechnern und Switch.

PPS: Ach ja, schau doch mal nach einem Firmware-Update für den Switch, das könnte sich auch positiv auswirken.

[ManuP]

@mistersict
Firmware-update gibt es nicht für den Switch (es ist ein reiner switch. er hat noch nicht mal ein http-interface für einstellungen, wie es zB router haben).

Warum können die Hersteller was als 1000Mbit verkaufen, wenn es dann nicht auch so schnell ist?

ftp versuche ich dann später mal.
Overheads hin oder her, ein plus von 20MB/s werde ich durch weniger overheads nicht bekommen

[storm]

Beide Karten sowie der Switch machen Gigabit.

Nur weil GBit draufsteht, heisst das noch lange nicht, dass das auch funktioniert. Gerade bei den weiterverbreiteten Onboard-Chips (Realtek, Broadcom,....) sind die Treiber mehr oder weniger reverse engineered und haben teilweise erhebliche Performance-Bremsen eingebaut (irq-polling), weil die erforderliche Doku einfach fehlt. Aber da hat sich in den letzten Monaten schon viel getan.

ethtool gibt:

Code: Alles auswählen

Settings for eth1:
	Supported ports: [ MII ]
	Supported link modes:   10baseT/Half 10baseT/Full 
	                        100baseT/Half 100baseT/Full 
	                        1000baseT/Half 1000baseT/Full 
	Supports auto-negotiation: Yes
	Advertised link modes:  10baseT/Half 10baseT/Full 
	                        100baseT/Half 100baseT/Full 
	                        1000baseT/Half 1000baseT/Full 
	Advertised auto-negotiation: Yes
	Speed: 1000Mb/s
	Duplex: Full
	Port: Twisted Pair
	PHYAD: 1
	Transceiver: internal
	Auto-negotiation: on
	Supports Wake-on: g
	Wake-on: d
	Current message level: 0x000000ff (255)
	Link detected: yes

Und der Hersteller bzw. Treiber?

btw:
warum klappt das nicht:

Code: Alles auswählen

netperf -H 192.168.1.44
establish control: are you sure there is a netserver listening on 192.168.1.44 at port 12865?

Auf dem Ziel muss natürlich der netperf-Server laufen, damit da etwas passiert.

ciao, storm

[ManuP]

einmal hab ich (leider, leider) Broadcom, und einmal Marvell

Code: Alles auswählen

Ethernet controller: Broadcom Corporation NetXtreme BCM5788 Gigabit Ethernet (rev 03)

Code: Alles auswählen

Ethernet controller: Marvell Technology Group Ltd. 88E8056 PCI-E Gigabit Ethernet Controller (rev 12)

das mit netperf hab ich jetzt auch mal ausprobiert. Das seltsame ist jedoch, dass der test von Desktop->Notebook die Geschwindigkeit *doppelt* so hoch ist wie umgekehrt.
Ich bekmme von Desktop->Notebook 480*10^6 bit/sec
bzw. Notebook->Desktop 200*10^6

von D->N ist die geschw. okay, sind ja 60MB/sec.... aber umgekehrt nicht.
warum ist das so?

lg Manu

[storm]

einmal hab ich (leider, leider) Broadcom, und einmal Marvell

Na nu lass mal nicht den Kopf hängen deswegen. In der Vergangenheit hat sich eigentlich die Treiber-Qualität eher verbessert als verschlechtert. Beide (sky2 und tg3) sind da ganz gute Kandidaten für. Vielleicht gibts von den Firmen auch mal Doku für die Kernel-Entwickler. Und wenn du das nicht akzeptabel findest, musst du dir passenden Ersatz suchen (für den ordentliche Treiber existieren).

das mit netperf hab ich jetzt auch mal ausprobiert. Das seltsame ist jedoch, dass der test von Desktop->Notebook die Geschwindigkeit *doppelt* so hoch ist wie umgekehrt.
Ich bekmme von Desktop->Notebook 480*10^6 bit/sec
bzw. Notebook->Desktop 200*10^6

von D->N ist die geschw. okay, sind ja 60MB/sec.... aber umgekehrt nicht.
warum ist das so?

Das sind jetzt die Zahlen von netperf? Das ist eher schwer, aus dem möglichen Sammelsurium eine oder wenige bestimmende Ursachen rauszulesen. Das beginnt mit den Einstellungen des Laptops (beispielsweise auf niedrig-Energiebetrieb getrimmt -> höhere Latenzen, schlechter Durchsatz), was für den Schleppi gut ist, bremst vielleicht das Netzwerk aus. Da wären Zahlen von anderen Laptop-Benutzern mit vergleichbarer Hardware ganz gut. Auch solltest du mal versuchen, die Ergebnisse von netperf mit einem weiteren benchmarker (zB ttcp, dbench) zu verifizieren, um nicht über die Schwächen einer Software zu stolpern. Auf jeden Fall solltest du auch mal beide Kisten ohne X und ohne unnötige Dienste testen. Wie verändern sich die Zahlen? Ändern sie sich überhaupt? Ein paar Treiber-Optionen gibt es ja auch noch, mit denen sich vielleicht etwas mehr rausholen lässt.
Ich schätze mal, das ist thematisch schon ganz grob umrissen: hier kannst du halt nur testen und hoffen, dass sich ein paar Baustellen in den Treibern in Zukunft schließen.

ciao, storm

[ManuP]

Das sind jetzt die Zahlen von netperf?

Ja

beginnt mit den Einstellungen des Laptops (beispielsweise auf niedrig-Energiebetrieb getrimmt -> höhere Latenzen, schlechter Durchsatz)

Notebook ist am Netz, cpu-governor auf OnDemand. sollte also kein Prob sein.

Auf jeden Fall solltest du auch mal beide Kisten ohne X und ohne unnötige Dienste testen. Wie verändern sich die Zahlen? Ändern sie sich überhaupt? Ein paar Treiber-Optionen gibt es ja auch noch, mit denen sich vielleicht etwas mehr rausholen lässt.

Ich will aber ein schnelleres Netz mit grafischer Oberfläche
Naja, testen kann ich es mal bei Gelegenheit


Hier noch Zahlen von nttcp (wobei die sehr schwanken und auch mal astronomisch hoch sind... also so hoch, dass es nicht sein kann...)

Code: Alles auswählen

deb-dk:/home/manuel# nttcp -T 192.168.1.33 
     Bytes  Real s   CPU s Real-MBit/s  CPU-MBit/s   Calls  Real-C/s   CPU-C/s
l  8388608    0.10    0.01    680.5000   5592.4053    2048  20767.21  170666.7
1  8388608    0.41    0.08    163.0637    882.9649    2305   5600.78   30327.4

ausgeführt auf dem desktoprechner, sprich nttcp -i lief auf dem notebook.

An dem Router hängt ein DSL-Router, der nur 100Mbit macht. Bremst der das LAN aus? Dann wären aber die Angaben von Realtek falsch, dass der Router die Geschwindigkeiten automatisch anpasst.

lg Manu

[storm]

Ich will aber ein schnelleres Netz mit grafischer Oberfläche :)

Ist mir schon klar. Will ja eigenltich jeder im Desktop-Betrieb. *g Die Frage ist an der Stelle, ob nicht irgendwelche Dienste oder gar die Grafik (oder etwas anderes) den Rechner stark ausbremsen. Deswegen der Test bei unbelastetem Rechner.

Hier noch Zahlen von nttcp (wobei die sehr schwanken und auch mal astronomisch hoch sind... also so hoch, dass es nicht sein kann...)

Wenn du so einen Test machst, wie sieht dann die CPU-Belastung aus? Also mal top mit einem kleinen Intervall laufen lassen und auf load achten. Und schwankt netperf auch so stark?

An dem Router hängt ein DSL-Router, der nur 100Mbit macht. Bremst der das LAN aus? Dann wären aber die Angaben von Realtek falsch, dass der Router die Geschwindigkeiten automatisch anpasst.

An dem Rechner hängt ein Router, meinst du sicherlich? Nein, sollte er eigentlich nicht. Alternativ könntest du auch einen Test machen bei abgeklemmten Router, aber das ist eher nebensächlich.
Welche Kernel kommen auf den 2 Kisten zum Einsatz?

ciao, storm

[ManuP]

Die Frage ist an der Stelle, ob nicht irgendwelche Dienste oder gar die Grafik (oder etwas anderes) den Rechner stark ausbremsen. Deswegen der Test bei unbelastetem Rechner.

Wow, ich bin überrascht. Wenn ich gdm, cupsys, mysqld, apache2,nfs-kernel ausschalte, dann bringt das Netzwerk erheblich mehr leistung!
netperf zeigt 4000*10^6bits/sec an, also 500MB/s (wenn netserver auf dem Desktoprechner läuft)
und 15000*10^6bits/sec, also 1870MB/s (wenn netserver auf dem notebook läuft)

Diese Zahlen sind auch recht konstant. Allerdings sind sie viel zu hoch. Gigabit = 1000Mbits/sec, also 125MB/sec. Oder täusche ich mich?

Hier noch Zahlen von nttcp (wobei die sehr schwanken und auch mal astronomisch hoch sind... also so hoch, dass es nicht sein kann...)

Wenn du so einen Test machst, wie sieht dann die CPU-Belastung aus? Also mal top mit einem kleinen Intervall laufen lassen und auf load achten. Und schwankt netperf auch so stark?

netperf schwankt wie gesagt nicht so stark.
Allerdings ist die cpu-auslastung recht hoch. Sowohl netperf als auch netserver nehmen sich je 40-60%.
Ich habe top mit -d 0.1 gestartet. War das okay?

An dem Rechner hängt ein Router, meinst du sicherlich? Nein, sollte er eigentlich nicht. Alternativ könntest du auch einen Test machen bei abgeklemmten Router, aber das ist eher nebensächlich.

Am Hub hängt noch ein Router - das hab ich gemeint

Welche Kernel kommen auf den 2 Kisten zum Einsatz?

beides mal die gleiche Version: 2.6.22-3-amd64

Hier noch zahlen von nttcp:

Code: Alles auswählen

     Bytes  Real s   CPU s Real-MBit/s  CPU-MBit/s   Calls  Real-C/s   CPU-C/s
l  8388608    0.52    0.04    128.5052   1677.6377    2048   3921.67   51197.4
1  8388608    0.71    0.02     94.1411   2796.0862    5798   8133.50  241573.3

     Bytes  Real s   CPU s Real-MBit/s  CPU-MBit/s   Calls  Real-C/s   CPU-C/s
l  8388608    0.53    0.04    126.9424   1864.0316    2048   3873.97   56885.7
1  8388608    0.71    0.04     94.1364   1864.0316    5798   8133.09  161046.6

     Bytes  Real s   CPU s Real-MBit/s  CPU-MBit/s   Calls  Real-C/s   CPU-C/s
l  8388608    0.53    0.05    127.1900   1398.0140    2048   3881.53   42664.0
1  8388608    0.71    0.04     94.1374   1864.0316    5798   8133.18  161046.6

     Bytes  Real s   CPU s Real-MBit/s  CPU-MBit/s   Calls  Real-C/s   CPU-C/s
l  8388608    0.53    0.04    126.6365   1864.0316    2048   3864.64   56885.7
1  8388608    0.71    0.02     94.1387   2796.0862    5797   8131.89  241531.6

     Bytes  Real s   CPU s Real-MBit/s  CPU-MBit/s   Calls  Real-C/s   CPU-C/s
l  8388608    0.56    0.04    119.9495   1864.0316    2048   3660.57   56885.7
1  8388608    0.71    0.02     94.1394   4194.0419    5798   8133.35  362352.4

Sie sind also auch recht stabil.

ftp-übertragung mit X muss ich noch ausprobieren.

lg Manu

[storm]

Allerdings sind sie viel zu hoch. Gigabit = 1000Mbits/sec, also 125MB/sec. Oder täusche ich mich?

Nee, du täuschst dich nicht. Möglicherweise geht da bei der Berechnung wegen falscher/ungenauer Ticks etwas schief. Dynticks haben ja die 2.6.22er nocht nicht, ich hab i.A. keine Ahnung woran das hängt. Mal nachforschen.

Allerdings ist die cpu-auslastung recht hoch. Sowohl netperf als auch netserver nehmen sich je 40-60%.
Ich habe top mit -d 0.1 gestartet. War das okay?

Naja, ne halbe Sekunde hät's auch getan. :) Und die Auslastung erscheint schon plausibel, einerseits wegen der beschriebenen Problematik mit den Treibern, andererseits ist natürlich Gigabit-Netzwerk mehr auf "Augenhöhe" mit moderner Hardware.

Am Hub hängt noch ein Router - das hab ich gemeint :)

Achso, ein Hub verändert das Bild natürlich auch wieder. Du bist sicher, dass das ein Hub und kein Switch ist? Gerade wenn es ein älteres oder wahlweise preiswerteres Modell ist, kann das schon ne Paketbremse sein.

Hier noch zahlen von nttcp:

Code: Alles auswählen

     Bytes  Real s   CPU s Real-MBit/s  CPU-MBit/s   Calls  Real-C/s   CPU-C/s
l  8388608    0.52    0.04    128.5052   1677.6377    2048   3921.67   51197.4
1  8388608    0.71    0.02     94.1411   2796.0862    5798   8133.50  241573.3
...
[/quote]
Und du verschaukelst uns hier auch nicht mit nem 10GE-Adapter? *g  Also wie gesagt, da läuft was schief bei der Berechnung. 

ciao, storm

[ManuP]

Am Hub hängt noch ein Router - das hab ich gemeint

Achso, ein Hub verändert das Bild natürlich auch wieder. Du bist sicher, dass das ein Hub und kein Switch ist?

Okay, jetzt hab ich mich noch ein zweites Mal verheddert. Ich meine (und dabei bleibt es dann auch)
einen *Switch* an dem zwei Rechner und ein Router hängen
...sorry

Und du verschaukelst uns hier auch nicht mit nem 10GE-Adapter? *g Also wie gesagt, da läuft was schief bei der Berechnung.

ciao, storm

neee... tue ich nicht.

Was genau heißen die Zahlen von nttcp?

Wie soll ich denn jetzt vorgehen, dass mein nfs schneller wird? 8MB/s finde ich halt langsam.

Wer hat Zahlen für mich?

Das die übertragung vieler kleiner Dateien länger dauert als die einer großen ist mir klar.

lg Manu

[pdreker]

Hallo...

NFS Performance ist auch nach 20 Jahren immer noch ein wenig Voodoo, aber 7MB/s sind inakzeptabel, keine Diskussion.

1) teste bitte mit einem anderen Übertragungsprotokoll, wie zum Beispiel oben genannt FTP oder HTTP, CIFS oder was auch immer, ob Du irgendwo eine nennenswert höhere Geschwindigkeit bekommst. netperf und ttcp sind zwar sehr mächtig, aber auch sehr schwierig zu benutzen. Ein recht einfache Methode ist "netcat":

Code: Alles auswählen

aptitude install netcat # bitte auf beiden Hosts!
nc -l 12345 > /dev/null # auf der Empfängerseite
time nc IP_ADRESSE_DES_EMPFÄNGERS 12345 < grosse_datei.iso # auf der Senderseite

Dann die Dateigröße durch die "real" Zeit teilen, fertig...

2) NFS Mount Optionen wären wichtig. Wie wird das NFS gemountet? (Ausgabe des "mount" Befehls, fstab Zeile für das NFS, falls zutreffend oder der Befehl, mit dem es gemountet wurde.

Patrick

[ManuP]

@pdreker

Mein NFS wird ohne weiter Optioen gemountet.
Eintrag in fstab ist so:

Code: Alles auswählen

192.168.1.44:/foo     /faa   nfs   rw,users   0    0

Die andern test mache ich dann morgen. http ist kein prob, apache hab ich ja installiert.
ftp muss ich mal gucken.

Gruß Manu

edit: mit http bekomme ich 21 MB/s (getestet mit wget und einer 600MB datei, war das okay?)
das war von notebook auf desktop.

[libertad]

Auf dem einen Rechner (desktop) ist ein Verzeichnis mit nfs freigegben. Die eine Festplatte schafft 40MB/s, die andere knapp doppelt so viel (werte mit hdparm ermittelt).

Wusste garnicht, dass hdparm sowas kann. Grade mal mit bonnie++ hier getestet:

Code: Alles auswählen

$ bonnie++
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version 1.03c       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
nike             1G 11551  47 21558   8  4435   1  8385  31 15824   3  75.3   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 32542  66 +++++ +++ +++++ +++ 30287  58 +++++ +++ +++++ +++
nike,1G,11551,47,21558,8,4435,1,8385,31,15824,3,75.3,0,16,32542,66,+++++,+++,+++++,+++,30287,58,+++++,+++,+++++,+++

Also so wie ich das interpretiere: Lesen von 11MiB/s - 21MiB/s und schreiben von 8MiB/s - 15,5MiB/s. Bei laufendem KDE mit jeder Menge Anwendungen und mit dm-crypt vollverschlüsseltem /. hdparm liefert ein Maximum von:

Code: Alles auswählen

$sudo hdparm -t /dev/sda
/dev/sda:
 Timing buffered disk reads:   92 MB in  3.04 seconds =  30.22 MB/sec

hdparm scheint also schon eine Obergrenze anzugeben.

[ManuP]

Ich kann das mit bonnie auch mal noch testen. aber nicht jetzt. morgen dann.

Habe gerade noch mit ftp eine übertragung gemacht.

Ich schaffe hier von Desktop -> Notebook 26.6MB/s

gruß Manu

[pdreker]

26MB/s sind nicht besonders schnell, aber auf jeden Fall im Rahmen dessen, was mit "nicht so tollen" Netzwerkkarten erreichbar ist.

Versuche bitte 'mal das NFS mit folgenden Optionen zu mounten (mountpoint und Serverpfad sind natürlich nur ein Beispiel ):

Code: Alles auswählen

mount -t nfs -o nfsvers=3,tcp,wsize=8192,rsize=8192 server:/exports/bla /mnt/mountpoint

bonnie++ ist eher was zum testen von einzelnen Platten, weniger zum testen von Netzwerkshares, auch wenn das prinzipiell auch damit geht. Kopiere einfach jeweils eine große Datei auf die Freigabe und messe mit "time", wie lange das dauert. Ambesten vorher die Caches auf der Quellmaschine "anwärmen" (Datei einmal mit "cat datei.iso > /dev/null" komplett lesen, dann ist die Platte in der Quellmaschine egal, vorausgesetzt, die Datei passt natürlich komplett ins RAM)

Patrick

[ManuP]

Code: Alles auswählen

mount -t nfs -o nfsvers=3,tcp,wsize=8192,rsize=8192 server:/exports/bla /mnt/mountpoint

immer noch nicht schneller.

bonnie++ ist eher was zum testen von einzelnen Platten, weniger zum testen von Netzwerkshares, auch wenn das prinzipiell auch damit geht. Kopiere einfach jeweils eine große Datei auf die Freigabe und messe mit "time", wie lange das dauert. Ambesten vorher die Caches auf der Quellmaschine "anwärmen" (Datei einmal mit "cat datei.iso > /dev/null" komplett lesen, dann ist die Platte in der Quellmaschine egal, vorausgesetzt, die Datei passt natürlich komplett ins RAM)

Patrick

Ich hab ja auch nur auf den Maschinen die max, geschwindikeit der platten gemessen und daraus geschlossen, dass ich nicht schneller übertragen kann (bei großen dateien, die nicht in den ram passen) als die platte schreiben kann

gibt es weitere optionen die das nfs beschleunigen könnten?

gruß Manu

[storm]

Kannst du mal Eckdaten der beiden Rechner nennen, also CPU, Speicher usw. Die ftp-Zahlen find ich auch grenzwertig aber ok. Falls du noch einen 100MBit-Switch rumliegen hast, könntest du den ja mal anstatt des 1GBit-Modells benutzen.

ciao, storm

[ManuP]

Falls du noch einen 100MBit-Switch rumliegen hast,

Leider nein....

Notebook:
amd Turion64 mit 1,6 GHz, 1 GB Ram
Broadcom-Chipsatz: bcm5788 (LAN)

Desktop:
Intel Core2duo, 6420 mit 2.13 Ghz, 2GB Ram
Marvell-Chipsatz (LAN):
02:00.0 Ethernet controller: Marvell Technology Group Ltd. 88E8056 PCI-E Gigabit Ethernet Controller (rev 12)
05:04.0 Ethernet controller: Marvell Technology Group Ltd. 88E8001 Gigabit Ethernet Controller (rev 13)


mfg Manu

[storm]

Ok, die zwei Kisten sollten die Leitung (theoretisch) saturieren können, auf jeden Fall aber mehr bringen als jetzt. Du solltest mal andere Kernel testen. Also zB >2.6.22 oder auch die gleiche Version aber als 32bit. Dafür könntest du irgendeine Live-CD benutzen, allerdings muß die natürlich halbwegs aktuell sein (ubuntu, grml/grml64,...).

ciao, storm

[McAldo]

Gibt es zu dem Thema weitere Ideen oder sogar Lösungen?

McAldo