Kademlia aktivieren ja oder nein? - Upload Overhead

[Vip2002]

Hi, bevor jetzt jeder gleich ja schreit bitte erstmal lesen.

Ich bin mir völlig bewusst, was Kademlia ist und was es macht. Per default ist Kademlia immer noch disabled. Mein Eindruck ist der, dass davon ausgegangen wird, dass Kademlia immer noch im Teststatus ist und deshalb deaktiviert ist.

Jeder hat nun nichts anderes zu tun als Kademlia zu aktivieren und sich zu freuen, dass es völig stabil läuft. So auch bei mir. Jetzt habe ich mir aber mal über längere Zeit die Statistik angesehen. Mit Kademliaverbindung steigt der Overhead in der Uploadstatistik an, die gefundenen Quellen werden aber nicht signifikant mehr. Sourceexchange, Passiv machen den größten Teil aus, dann kommt Server und erst dann Kademlia.

Da alle im Netz über zu geringen Down klagen sollte aus meiner Sicht der Overhead möglichst minimiert werden, Schlussfolgerung wäre somit auf Kademlia verzichten und nur dann zuschalten, wenn keine oder zu wenig Quellen gefunden werden oder die Server mal wieder streiken.

Wie sind Eure Erfahrungen? Könnt Ihr auch einen signifikanten Rückgang im Overhead des Uploads beobachten oder ist das bei mir Zufall?

[Januar1956]

@Vip2002

Ab dem Augenblick, ab dem Du den Verbindungsbutton zum Kademlia-Netz klickst, --> bist Du der Server (!!!)
Das sollte man verstanden haben. Ok, es ist dann kein richtiger Server, aber wie Du schreibst, ja tatsächlich ist da ein höherer Bedarf vorhanden.
Ob das tatsächlich das Optimum ist, ist unter anderem Sinn dieses Testes.
Allerdings wissen wir von z.B. OVERNET das es klappt.
Bei eMule kommt es natürlich, aufgrund der immens höheren Userzahlen zu ganz anderen Dimensionen...auch das gehört zum Sinn dieses Testes.

Kurzum...keiner weiss ob das klappt.
Deswegen, rann an den Test und probieren.

Januar

[Vip2002]

Was probieren?
Ich habe doch geschrieben, dass ich über Kademlia nur wenig Quellen bekomme. Über Passiv, Sourceexchange und Server kommen soviele Quellen, dass Kademlia nicht wirklich benötigt wird.

Der durch Kademlia verursachte Overhead ist aus meiner Sicht besser im Upload untergebracht. Ein Grund für mich trotzdem Kademlia aktiviert zu lassen wäre bspw. wenn die Server signifikant entlastet würden und dies auch wirklich nötig wäre.

Rechne mal hoch, wieviel realer Upload dem Netz z.Z. durch den Kademlia Hype verloren geht. Da kommt ganz schön was zusammen.

Vielleicht sollte ich meine Frage auch etwas anders stellen, wieviel Sinn macht es zu Servern verbunden zu sein und gleichzeitig Kademlia zu nutzen. Wäre nicht eine entweder oder Option sinnvoller?

[Januar1956]

@Vip2002

wieviel Sinn macht es zu Servern verbunden zu sein und gleichzeitig Kademlia zu nutzen. Wäre nicht eine entweder oder Option sinnvoller?

Es gibt über den Daumen, abgesehen von einigen klitzekleinen mal eben 70 Server.
Was, wenn Razorback und die Probenprinzen morgen keinen Bock mehr haben.

Dann wäre die Alternative...adeeee schönes Netzwerk.

Januar

[Vip2002]

Wir reden aneinander vorbei.

Kademlia ist sinnvoll, keine Frage ..btw, hast Du meinen Post komplett gelesen.

Wenn keine Server da sind bleibt ja nur Kademlia.
Aber wie ist die aktuelle Situation? Ich kann mir aussuchen, was ich nutze um Quellen zu finden: nur Kademlia, nur Server oder beides.

Die Mehrzahl der Postings sprechen dafür, dass viele aus Prinzip beides nutzen (gleichzeitig) ohne recht zu wissen, was Kademlia eigentlich macht. Das Netz verliert dabei - wenn meine Beobachtung richtig ist - Jede Menge Bandbreite, die sinnvoller verwendet werden könnte. Ich würde das so zusammenfassen:

nur Kademliaverbindung -> geht in Ordnung, weil die Server entlastet werden

nur Server -> geht in Ordnung solange die Server mitspielen

Kademliaverbindung und Server -> erzeugt zuviel Overhead und ist demnach nicht zu empfehlen

Genau um diese dritte These geht es mir. Ist sie richtig oder habe ich etwas übersehen?

[Januar1956]

@Vip2002

Das ist meines erachtens kein Problem, einfach schon aus dem Grund, weil die zur Verfügung stehenden Bandbreiten ausreichend sind.
Irgendwo hab ich auch gelesen, dass die Europäische Union, expliziet auch die Deutschen Internetanbieter zur Steigerung ihrer Bandbreiten verdonnert worden sind.Dies bis zum Ziel 2005. (Bitte frag mich jetzt nicht nach einen Link dazu, den weiss ich nicht mehr)

Deswegen übrigens auch die "eifrige" Erhöhung der Telekombreiten...nicht ohne natürlich nochmal kräftig abzusahnen...versteht sich.

Also da würd ich mir im Augenblick die allerwenigsten Sorgen machen.

Januar

[Pathfinder]

Belegen wir das doch mal mit ein paar Zahlen aus meiner aktuellen Statistik (eMule 0.42f):

Laufzeit 15:30 h
An Upload-Overhead sind insgesamt über die Session 34,68 MB angefallen, was ca 5,5 % der übertragenen Nutzdatenmenge ausmacht.
Der Overhead entsteht dabei zu 53 % durch Kademlia, zu 1 % durch Server-Daten und zu je 12,3 % durch File-Request und Source-Exchange (21,4 % durch andere Faktoren).

Dabei fällt auf, dass

• Vip2002 recht hat, was die Reduzierung des Overheads durch Trennen der Verbindung mit Kademlia betrifft, der größte Teil des Overheads entsteht durch Kademlia.
• ein Trennen der Verbindung zum Server nur einen geringen Gewinn an Bandbreite bringt und damit eine "Entweder-oder-Option" nicht sinnvoll ist, da die Vorteile duch Kademlia, wie von Januar1956 beschrieben, überwiegen
• der Gewinn an Nutzdaten-Upload durch Abschaltung von Kademlia über die Session in meinem Fall nur ~18,5 MB betragen hätte, was einer Bandbreite von 0,34 kB/s entspricht.
• davon ausgehend, dass man im Schnitt ca 10 aktive Downloads-Sessions hat wäre der Gewinn 3,4 kB/s, darüber würde niemand einen Luftsprung machen

Meiner Meinung nach ist der Verlust an Bandbreite durch Kademlia über alle User gerechnet recht gering im Vergleich zu dem Verlust der z.B. durch Leecher und falsch konfigurierte Clients verursacht wird.

[Furio]

Man bedenke in diesem Zusammenhang auch, dass der Overhead von 53 % durch Trennen der Kademliaverbindung nicht einfach wegfällt. Vielmehr werden sich in diesem Falle die anderen Zahlen erhöhen. Im Prizip hat Pathfinder das durch seine Gewinn-Nutzen-Rechnung schon ausgesagt. Ich wollte den direkten Zusammenhang nur noch einmal klarmachen.

Bei der Overhead-Diskussion sollte man aber auch nicht vergessen, dass eben eins zum anderen kommt. Die Fragestellung wurde auch schon bei der Einführung von Source-Exchange erörtert. Damals hiess es von den Gegnern: "Währet den Anfängen". Dies dürfte nun die Fortsetzung sein, wobei natürlich in der Tat zuzugeben ist, dass Kademlia noch nicht ausgereift ist:

Für mich stellt sich nun noch die allerdings auch schon unterschwellig angeschnittene Frage, ob eine Entlastung der Server durch Kademlia tatsächlich notwenig ist, denn

• Ein Abschiessen der Server hat seit längerem nicht mehr stattgefunden. O.K.: Möglicherweise nur deshalb nicht, weil es Kademlia gibt

• Fast jeder User hat allein schon wegen der Grundeinstellungen des Esels (Kademlia standardmäßig deaktiviert) die Serververbindung aktiviert, eine geringe Entlastung findet also nur beim Quellenaustausch statt

• Es hieß schon oft, dieser oder jener Server tritt ab; tatsächlich steigen die Nuzterzahlen jedoch stetig (Razorback geht schnurstracks auf eine max. von 1 Mio. zu!)

[cosmic girl]

Eine Variante fehlt hier völlig:
Nur Kademlia nutzen!

Ich connecte versuchsweise seit mehr als sechs Wochen ausschliesslich zu Kademlia und der Overhead ist nicht wesentlich mehr gegenüber reiner Servernutzung (sagen wir 0.5 k bei einem freigegebenen UL von 12 k).

Als Nutzer der ersten Stunde von Kademlia Mulis kann ich beobachten, dass die Entwickler seitdem gute Arbeit bei der Reduzierung des Overheads geleistet haben.

Ein gewisser Overhead liegt in der Natur von Kademlia, da führt kein Weg daran vorbei. Schlimm wird es für Leute, die - aus welchen Gründen auch immer - eh nur 4 k oder so geben können (56k Modem z.B.), weil der Rest für den Overhead von Kademlia draufgeht.. aber ich bezweifle, dass der mit Serverconnection viel weniger ist.