automatisches hinzufügen von http/ftp quellen (normalen download manager integrieren

[Sib]

Nachdem ich probleme damit hatte meinen downloadmanager und eMule gleichzeitig laufen zu lassen habe ich mich gefragt, warum ich den download nicht einfach auch über eMule laufen lassen kann.

Nach bisherigem stand der technik kann man bei eMule zu files die man schon im download hat http-server als zusätzliche quelle manuel einfügen. das ist ne feine sache, weil man dann ohne warteliste etc. schön schnell ziehen kann.

Dies müsste man auf ftp ausweiten um mehr mögliche quellen zu bekommen und ähnlich wie bei webcache den link anderen mitteilen damit die auch darüber ziehen können (müsse über quellentausch zu machen sein) -> weniger uploadbelastung fürs Netzwerk die anderen files werden schneller.

Der eigentliche knackpunkt an der sache ist allerdings, dass man wenn man unabhängig von allen anderen im netztwerk als erstes was von einem server zieht. Ich weiss nicht genau wie ein file seinen hash bekommt, aber wenn ichs richtig verstanden habe würde es für den selben file dann pro downloader einen unterschiedliche geben. Das könnte man vielleicht dadurch behaben dass man irgendwie die info über den downloadlink später mitüberträgt, so dass es zu ner art autokorrektur kommt, so dass die files dann wieder den selben hash haben. Was aber auch nichts bringen würde wenn die leute jetzt von unterschiedlichen mirrors gezogen haben. Das ist der punkt an dem ich noch festhänge.

Eine "light" version, die einem nur ermöglichen würde mit emule http (und möglichst auch ftp)-files zu ziehen ohne dass es eine automatische hash anpassung gibt dürfte eigentlich nicht so schwer zu machen sein.
Am schönsten wärs, wenn sich einfach ein download in emule hinzufügen würde wenn ich in meinem browser auf einen download klicke.

Die Vorteile wenn man in eMule einen downloadmanager indegrieren würde liegen auf der hand:
- ein programm ist wenn es gut läuft ist immer besser als zwei (v.a. wenn beide das selbe tun also hier runterladen)
- nur eine oberfläche
- es werden automatisch mehr files zum download freigegeben
- man könnte dadurch viele leute die emule ausschalten würden wenn sie was anderes ziehen dazu bewegen den esel anzulassen -> mehr uploader im verhältnis zu downloadern
- leuten mit Routern und Wlans (ich gehör dazu) werden die sorgen die mit einer weiteren konfiguration und obtimierung zusammenhängen erspart.
- das ganze müsste vor allem beim ziehen von opensource files für die es ja recht viele mirrors gibt sehr gut funktionieren
- von der oberfläche her würde sich nicht viel ändern, außer dass ein kästchen für die funktion in den optionen dazukommt, ein fenster in den man den downloadlink kopieren kann (könnte man im suchen-fenster integrieren) und das sich was in der statistik tun müsste

Ich weiss dass diese funktion nicht unbedingt notwendig ist, aber ich glaube sie würde einem doch den überblick verbessern und in der version die dann auch den sinnvollen austausch dieser files im netzwerkt mitorganisiert würde das netztwerk meines erachtens ein ganzes stück voranbringen.
Das gegenagument, dass emule ein reiner P2P bleiben sollte zählt meines erachtens in diesem fall nicht, da ähnlich wie bei webcache (dort user von großen ISPs, hier user die sich für eine bestimmte art von files interessieren) das system nicht generell von P2P abrückt, sondern nur einen kleinen bonus download bietet.

also:
was haltet ihr von der idee im allgemeinen sinn/unsinn?
ist das schwierig zu lösen/programmieren?

noch ein paar anmerkungen:
ich kann selber nicht programmieren und bin, obwohl ich mich seid einigen wochen eingelesen habe auch noch als emule-neuling einzustufen
also seid lieb zu mir und bitte keine kommentare dazu dass es grundsätzlich möglich ist emule und downloadmanager perfekt zu konfigurieren etc. das war nur der aufhänger der idee ich brauche dazu keine problemlösung.

das ganze wurde vor langer zeit schonmal angesprochen aber nie behandelt:
http://www.emule-web.de/board/thread7836.html

[Januar1956]

SIB

Dein Denkansatz ist falsch. Es geht nicht darum, http Links für eMule nutzbar zu machen.
Im Gegenteil >>ANDERSRUM<< ...der eDonkey-Link muss auf die Webseite !!!

...und es müssen Clienten her, die sowas blitzschnell abwickeln können...

Januar

[Sib]

das problem, dass auf der webseite kein eDonkey link ist würde doch durch das vorgeschlagene system gelöst. Zu jedem downloadlink würde emule sich selber den hash schnitzen. Im moment ist man auf diesen link angewiesen, aber nicht jeder wird den auf seiner webseite reinstellen. Wenn die Internetseite dann irgendwann mal abgeschaltet wird oder das traffic limit erreicht wurde oder was auch immer würde die verteilung über emule ganz normal laufen.
Ich seh da also keinen widerspruch drin.

[Pathfinder]

Zu jedem downloadlink würde emule sich selber den hash schnitzen.

Genau hier liegt das Problem. Um den Hash zu erzeugen musst du das komplette File kennen. Also entweder liegt der Hash schon dem Link bei, das wäre dann Januars Variante, oder die Datei ist erst im ed2k-Netz nutzbar wenn du sie komplett hast. Letzteres bringt dann keinen nennenswerten Vorteil gegenüber Download im Browser.

Die reine Integration eines Downloadmanagers wie z.B. Getright & Co wird sicher keine Freunde finden, da einer der größten Vorteile von eMule, das Dezentralisieren von Daten und Bandbreite, damit aufgehoben wird.

[Sib]

angeommen 10 leute ziehen sich den file erstmal über den server.
der, der zuerst fertig wird gibt dem file einen hash.
alle anderen teilen dem netzwerk mit "downloade file von downloadlinkXYZ brauche hash"
in dem moment wäre eine eindeutige identifizierung möglich. der der fertig ist teilt den anderen den hash zu der passenden datei mit und ab dem moment können alle die die datei identifizieren konnten auch untereinander ziehen.

eine mögliche lösung würde also in der identifizierung der files nach gesamtgröße und downloadlink sein um ihnen den richtigen hash über eine suchfunktion im netzwerk zuzuweisen (eventuell auch ursprünglicher dateiname wenn der download gleich in emule gestartet wird)
das sollten doch genug informationen sein um den file eindeutig zu identifizieren. für solche files müsste man halt zusätzlich zum hash noch ein paar weitere daten bereithalten.
Bei webcache überprüfen dieuser ja auch gegenseitig irgendwie ob sie den gleichen proxy haben.

das ist eben das problem das ich auch hatte aber vielleicht kann man es ja so oder anders lösen.
das das interesse an einer "light" version ohne unterstützung nicht besonders groß ist ist mir klar obwohl ich wie oben geschrieben auch darin einen gewissen nutzen (auch fürs netzwerk) sehe.

[aalerich]

Der Hash wird erzeugt, indem die fertige Datei Bit für Bit mit MD4 bzw. SHA-1 (für den AICH-Hash) gehasht wird. Man kann nicht einfach einer Datei irgendeinen Hash verpassen. Das würde auch den Sinn des Hashens völlig negieren. Dann könnte ja jeder kommen und jeder Datei jeden beliebigen Hash verpassen, das blanke Chaos würde im Netzwerk ausbrechen.

Laß mal gut sein; so, wie es ist ist es schon ganz gut so. (Was für ein bekloppter Satz )

Mit freundlichen Grüßen
aalerich

[Januar1956]

Zitat von Sib

angeommen 10 leute ziehen sich den file erstmal über den server.

Mir dünkt, du hast keinen blassen Schimmer über die rechtliche Lage.
Was für einen Server hast Du denn und was steht im Kleingedruckten Deines Vertragspartners... und was sagt Deine Rechtsabteilung ?

Im Fall des Falles, wäre es auch ratsam, sich schonmal mit Deinen Familienmitgliedern abzustimmen, bezüglich der Besuchszeiten in den jeweiligen Haftanstallten, in denen Du dann einsitzen würdest.

Januar

[Sib]

@aalerich
habe jetzt erst gesehen dass du oben schöne links zur wiki in den post reingemacht hast. ich werde trotzdem meine erste idee (unten) stehen lassen weil sie vielleicht auch nicht ganz blöd ist.

so wie ich das jetzt sehe wäre eine mögliche lösung folgende:
derjenige der den file zuerst herunterläd hasht die datei.
die datei wird in chunks unterteilt die auch einzeln gehasht werden müssten (weiss nicht ob das jetzt schon so ist).
hat die zweite person den downloadlink angeklickt und den ersten teil in der größe eines chunks heruntergeladen passiert folgendes:
1. er hasht den chunk
2. er sucht über das netzwerk andere user die files haben die mit folgernder information gekennzeichnet sind (http/ftp link, gesamtfilegröße, dateiname)
3. er findet jemanden der eine datei mit den drei genannten eigenschaften hat.
4. er fragt nach ob dieser den eventuell schon den gleichen chunk heruntergeladen hat. (wobei chunks einzeln durch ihren hash klar definiert sind und wenn ich richtig verstanden auch eindeutig einer position im gesamtfile zugeordet werden können)
5. falls dies der fall ist bekommt die anfragende person provisorisch bis zum ende des downloads eine provisorische hash für den gesamtfile übertragen, die bei beendigung des downloads dann überprüft und entweder autorisiert wird oder eben nicht.

so müsste es doch eigentlich klappen können?


-------------------------------------------------------------------
also bekommt ein und die selbe datei egal wer sie hat und woher er sie hat automatisch den gleichen hash. Das problem sind die leute die den file noch nicht vollständigt haben. Wenn man aufgrund verschiedener hinweise mit einer gewissen warscheinlichkeit sagen kann, dass der teilweise heruntergeladene file dem vollständig heruntergeladenen file eines anderen users entsprich könnte man ihm ja einen provisorischen hash gehen (keinen richtigen, dann kommt auch kein kaos ins system). Wenn man mit den Hashs rechen kann könnte man doch wenn 2 leute jeweils die fehlende hälfte des anderen haben bit für bit die beiden hälften skannen und dann den wirkichen hash ausrechen. Wenn man jetzt noch berücksichtigt dass man die gesamtgröße des files genau kennt müsste sowas doch möglich sein.
Wenn das mit 2 leuten klappt müsste es auch mit 100 leuten klappen die je 1/100 des files haben.
Wenn man nicht mit hashs rechnen kann liege ich natürlich völlig daneben.
Man dürfte sicher solange der file nicht komplett ist mit einem normalen hash arbeiten weil dann gefahr für das netzwerk besteht, sondern halt mit einem der irgendwie gekennzeichnet ist.

-----------------------------------

@januar
rechtlich sehe ich direkt kein problem
ich will ja nichts mit einem eigenen server hochladen, dann konnte ich das ja mit dem eDonky link machen.
Ursprünglich hatte ich die idee als ich von archive.org gemeinfreie filme gezogen hab. (ja sowas gibts tatsächlich) downloadlinks zu sowas stehen auch in der wikipedia etc. Ich sehe kein problem darin dieses zeugs auf die oben beschriebene art und weise zu ziehen und weiter zu verteilen. Der dortige serverbetreiber hat sogar in seiner satzung stehen dass er mit seinen medien besonders viele leute erreichen möchte. Daher ist weder das vom server ziehen noch das weiterverbreiten rechtlich ein problem.

Wie das feature von anderen leuten eventuel genutzt werden könnte ist kaum abzusehen, aber jeder weiss ja zu was eMule jetzt schon genutzt wird.

[aalerich]

Zitat von Sib

2. er sucht über das netzwerk andere user die files haben die mit folgernder information gekennzeichnet sind (http/ftp link, gesamtfilegröße, dateiname)

Das geht nicht. Du kannst doch nicht sämtliche Teilnehmer des Netzwerkes fragen "Hast Du etwas von der Adresse http://www.zyx.co.mo heruntergeladen?" Unter dem Overhead bricht alles zusammen...
Abgesehen davon, wer bitte soll sich hinsetzen und das programmieren, nur damit Dir der Download per Browser erspart bleibt?

Mit wirklich verständnislosen Grüßen
aalerich

[Sib]

er muss ja nicht alle fragen, es reicht ja im prinzip wenn er einen findet der den chunk schon hat.
durch die normale suchfunktion bricht das netzwerk ja auch nicht zusammen
das mit dem overhead hatte ich mir auch schon gedacht.
tut mir leid ich bin wie gesagt kein pofi, ich suche halt nach einer lösung für das problem.
wenn sich jemand der sich besser damit auskennt die mühe machen würde wärs vielleicht eher erfolgreich.
allerdings sind wir doch schon näher an der lösung dran oder?
vorher hieß es "geht grundsätzlich wegen dem hash nicht" jetzt ist es "nur noch" "aber das würde zuviel overhead produzieren".
am anfang des topics war ich mir gar nicht so sicher ob ich überhaupt soweit kommt.
aber auchwenn du selber der ganzen idee verständnislos gegenüberstehst, hast du mir schon mehr geholfen alsalleanderen

[Buggy Biggy]

Du kannst in emule nach der Datei suchen (z.B. über exakte Dateigröße in Bytes) und das, was du schon über http/ftp gezogen hast, in das Partfile einfügen, sobald das Hashset da ist (import parts to file). Klappt allerdings nur bei kompletten Chunks.
Off-topic: Ich hab sowas schon zwischen Emule und Bittorrent gemacht, das waren Dateien, die in beiden Netzen incomplete waren (keine 100% Quellen), und ich konnte sie durch Hin- und Her-Einflicken tatsächlich heilmachen. Hat aber ewig gedauert, weil wegen der unterschiedlichen Chunkgröße immer was weggeschmissen wird. Ich frag mich, wie Shareaza oder MLDonkey das machen.

[Ashert]

Zitat von Januar1956

SIB

Dein Denkansatz ist falsch. Es geht nicht darum, http Links für eMule nutzbar zu machen.
Im Gegenteil >>ANDERSRUM<< ...der eDonkey-Link muss auf die Webseite !!!

...und es müssen Clienten her, die sowas blitzschnell abwickeln können...

Januar

Was will ich mit dem Link, Links für alles findet man auch so. Nur kann ich eben keine Chunks aus http quellen ziehen und genau das ist das übel, weil Emule eben kein `dezentrales HTTP-Source Exchange über p2p` unterstützt, man muss die Http Datei schon selber kennen. Was Emule jetzt macht ist nur wie schon Getright http://www.filemirrors.com/
nur für Arme (Filedonkey-Web)

Ich finde man sollte sich mal voll dahinter stellen, man muss einfach irgendwie auch einzelne Chunks extrahieren können, und diese auf Webspace upladen können. Egal ob als .jpg oder .gif. oder sonstwas, der Hash muss dann jedenfalls auch drin sein und genau so kann auch jeder noch seinen Traffic nutzen den er auf seinem Webspace hat.

Ich hab diesen Monat z.B auch noch 10GB und kann sie jetzt nicht für Emule nutzen. Das ist doch dämlich, die größten Uploadresourcen bieten die Webhoster selber und wir nutzen sie nicht!

Später könnte man ja sogar noch hinzufügen das man seinen "Web-Chunks" noch die eigene ip anhängt, dann würden die anderem Emules diese lokal speichern und ihr wie üblich die verdienten credits berechnen!

Wenn man dann am nächsten tag, seinen emule anmacht, saugt er auch gleich mit fullspeed!

[Sorrow]

Wenn man dann am nächsten tag, seinen emule anmacht, saugt er auch gleich mit fullspeed!

...und wer lädt denn dann bitteschön (des nachts) hoch, wenn das alle so praktizieren...?!
...mach es doch gleich ganz anders...stell irgendwelchen releasern deinen webspace zur verfügung...!
...dann brauchen wir auch alle kein emule mehr, weil das wär ja zu langsam...ziehen wir doch lieber gleich via ftp...
...dein webhoster wird sich übrigens über den verursachten traffic wahnsinnig freuen...

...deinen vorschlag mit der angehängten ip finde ich übrigens äußerst gelungen, ich werde für meinen teil gleich noch die hausanschrift sowie bankdaten für die staatsanwaltschaft hinterlegen...

...dir ist schon bewusst, dass clients dich anhand deiner GUID erkennen, und nicht anhand der IP...

...nur für dich nocheinmal: die FAQ´s...
...für deinen nächsten (vielleicht sogar umsetzbaren) vorschlag...


greetz Sorrow

[Ashert]

Zitat von Sorrow

...und wer lädt denn dann bitteschön (des nachts) hoch, wenn das alle so praktizieren...?!

Was meinst du mit was alle praktizieren, wenn alle von http downloaden? Du lädst doch dann nicht weniger im Emule hoch als wie jetzt auch schon. Nur eben an alle anderen, die sich nicht offline geschaltet haben, eben alle die keinen webspace für sich gefunden haben und überhaupt gerade im emule noch online sind, die werden einem ja wohl kaum alle ausgehen.

Deswegen ist das abschalten des ein oder anderen webhoster auch keine Gefahr, selbst wenn alle ihren Seitentraffic abschalten, sind wir ja nur wieder auf dem Niveau wie jetzt, das alles nur über dsl geuploadet wird!

Ich glaub auch nicht das es schlimm ist wenn man seine eigene id mit zu gibt, die sind auch schon alle feststellbar, wenn man im normalen emule chunk-teile hochläd! Wenn jemand unbedingt wissen will, wer was hochläd, dann bietet eh nichts eine chance dagegen.

Der einzelne Releaser hat auch garkeine Bedeutung, wir sind alle Re-Releaser! Es gilt den Up von allen zu erhöhen! Nur mit kommerz webspace exclusives anbieten, macht nicht die Uploadmasse aus, das bringt überhaupt nichts!

Es gibt riesige Potenziale die man nutzen könnte, man denke nur mal an Rapidshare oder so! Wenn nur ein einziger der top100 freewebhoster, emule-chunks nicht völlig sperrt, dann wäre das ed2k auch schon um dutzende terrabyte am tag entlastet! Jedenfalls bestimmt 100mal mehr als über das biserl webcache der Isp.

Zitat von Sorrow

...für deinen nächsten (vielleicht sogar umsetzbaren) vorschlag...

Bis jetzt sind doch noch alle Vorschläge die Emule über andere Netze voran bringen, ausser das ed2k gescheitert! Das gehört doch eh zur Emule mainstream-politik, übertriebene Vorsicht und Anpassung an die Kommerzhüter.

Also für mich zählt nur Upload in Bytes! Jedes Bit zählt, egal ob es über irgendeinen irc-server kommt, webcache oder eine bessere online-komprimierung. Aber nein was machen die meisten Modder, färben nur Knöpfe neu ein und drehen sich um die belanglose Gui..