warum ist ipfilter.dat v. Plus viel kleiner als die v. xargo

[Pan Tau]

Moin Moin,
weiss jemand warum die ipfilter.dat vom Plus-MOD soviel kleiner als die von Xargo, die überall empfohlen wird (auch hier im Board), ist?
Welche Vor- oder Nachteile hat die jeweilige Version?
Ich weiss zwar warum es Sinnvoll ist sie zu benutzen, aber nicht weshalb die beiden sich so sehr unterscheiden.

gruss
Pan Tau

[NaP]

weil die von xargo aktueller ist, und mehr einträge enthält?

[Pan Tau]

Zitat von NaP

weil die von xargo aktueller ist, und mehr einträge enthält?

da muss ich jetzt mal ein wenig "gemein" werden (nicht um gemein zu sein, sondern weil ich das gern genauer wüsste, sozusagen als gesprächsgrundlage).
demnach packen die plus-modder, die ja damit "werben" das "beste" aus allen anderen mods im eigenen mod zu vereinen, seit monaten eine "schlechte" ipfilter.dat in die archive ihrer neuerscheinungen
na sowas! da klaffen anspruch und wirklichkeit aber ganz (un)schön auseinander.

gruss
Pan Tau

[NaP]

wär nett, wenn du ma konkrete zahlen schreiben würdest. also von welchm datum die datei is, und wie groß

ausserdem: was hat die größe der datei das damit zu tun, dass sie "nur das beste" in ihren mod täten?

[Pan Tau]

Zitat von NaP

wär nett, wenn du ma konkrete zahlen schreiben würdest. also von welchm datum die datei is, und wie groß

also
die von xargo ist vom 18.05.2003 und hat 125706 bytes,
die vom 1e ist vom 20.03.2003 und hat 4779 bytes, datum
die vom 1d ist vom 26.03.2003 und hat 4779 bytes,
die vom 1c ist vom 19.03.2003 und hat 4779 bytes,
die vom 1b ist vom 01.03.2003 und hat 4523 bytes,
die vom 1a ist vom 24.02.2003 und hat 3567 bytes,
die daten hab' ich aus den archiven.

Zitat von NaP

ausserdem: was hat die größe der datei das damit zu tun, dass sie "nur das beste" in ihren mod täten?

die dateien sind reine unkomprimierte textdateien und die dateigrösse ist von daher massgeblich da in der datei die ip's bzw ip-ranges derjenigen aufgelistet sind die p2p unterbinden möchten.
und das deshalb die dateigrösse für eine gewisse "qualität" bürgt ist recht leicht zu erklären. da die ipfilter.dat den zweck hat diejenigen die bewusst (defekt-)manipulierte daten versenden zu erkennen und damit zu verhindern dass von eben diesen "leuten" daten runtergeladen werden.
denn damit reduzierst du die anzahl der beschädigten teile die du zu dir runterlädst - bestimmt hast du auch schon mal die fehlermeldung "Heruntergeladener Teil xyz ist beschädigt" erhalten, gesehen oder darüber gelesen. desweiteren bekommen diejenigen die bei dir ziehen dann auch weniger manipulierte pakete da du sie ja gar nicht erst geladen hast bzw. umgekehrt.
das heisst aber leider nicht dass man keine beschädigten teile mehr erhält da diese "leute" bestrebt sind p2p weitestgehend unattraktiv zu machen. das ist so eine art wettrüsten.
von daher ist es sinnvoll eine möglichst aktuelle ipfilter.dat zu benutzen.
Save The Network
nicht alle beschädigten teile müssen absichtlich manipuliert sein, es gibt ja auch noch den "guten alten" datenübertragungsfehler

cosmic girl hat dazu auch einen thread zum thema eröffnet. der ursprüngliche textteil auf den ich mich bezog ist nur inzwischen beim editieren abhanden gekommen.
von daher hab' ich mal 'nen text zum thema rausgekramt:

Achtung !

Im Folgenden versuche ich möglichst einfach, ein großes Problem
mit eMule zu erklären.

Bitte unbedingt zu Ende lesen, es ist in Eurem eigenen Interesse !
Also es gibt Leute , die dafür bezahlt werden, eMule Files zu verändern, so
dass diese defekt sind !

Das sieht dann im Muli etwa so aus :

Heruntergeladener Teil 13 ist beschädigt (Hier steht dann der Name des Files)
Heruntergeladener Teil 23 ist beschädigt (Hier steht dann der Name des Files)
Heruntergeladener Teil 12 ist beschädigt (Hier steht dann der Name des Files)
Heruntergeladener Teil 11 ist beschädigt (Hier steht dann der Name des Files)
Heruntergeladener Teil 5 ist beschädigt (Hier steht dann der Name des Files)

Das führt dazu, dass von einem File, das z.B. 100 MB groß ist, im ungünstigen
Fall, mehrere 100 MB runtergeladen werden müssen!

Die defekten Teile wirft der Muli natürlich raus und lädt sie neu, so lange
bis er ein Teil erwischt hat.
So, wie kommt das ?
Beispiel :

Ich nenne den \" Dienst \", der die Files absichtlich verändert mal Penner
Also Penner hat das File im Share, es connecten sich 5 User und laden bei
Penner runter.
Also haben wir 5 Leute, die ein kaputtes Teil haben.
Bei diesen 5 Leuten connecten sich jeweils weitere 5 Leute, die alle das
kaputte Teil saugen.
Das geht dann, wie es beim Filesharing nun mal so ist, immer weiter.
Hunderte oder Tausende haben das kaputte Teil, es wird vom Muli rausgeworfen
und er lädt es neu.
Aber, sehr wahrscheinlich lädt er dann wieder bei Jemandem, der auch das
kaputte Teil hat, die Geschichte geht von vorne los.
Wenn man also nun die Menge der User sieht und das praktisch Jeder bei Jedem
lädt, kann man sich denken, wieviele tausende mal das kaputte Teil geladen wird.
Bis man mal an Jemanden gerät, der das Original File hat, also nicht das durch
Penner veränderte Teil.
Und dann können ja noch zig andere Teile des Files kaputt verbreitet werden,
die Geschichte geht dann mit dem nächsten Teil von Vorne los.

Nun, was können wir tun ?

Es gibt wahrscheinlich erst mal eine Zwischenlösung, die aber nur funktionieren
kann, wenn ALLE !!! oder zumindest Viele mitmachen !
Einige schlaue Köpfe haben etwas entwickelt, das nennt sich : IPFILTER



Das funktioniert so:

Es funktioniert nur ab der eMule Version 26 B
Bei älteren Versionen ist das Feature nicht integriert !


IP Filter

Die aktuelle Version ist die 1.10.
Diese Datei enthält Adressen, von " Diensten ", die kaputte Files verbreiten.
D.h., Euer Muli lädt bei diesen Leuten nix runter und somit erhält man keine
defekten Teile.

Aber:

Das bringt natürlich nur etwas, wenn ALLE !!!, oder fast Alle mitmachen, denn
was nützt es, wenn ich das Ding installiere und keine kaputten Teile bekomme,
aber die zigtausend anderen User sich fleißig die kaputten Teile von diesem
Dienst saugen und diese verbreiten ?
Irgendwann connecte ich ja dann zu einem von denen und bekomme dann halt von
ihm das kaputte Teil.
Also hat mein Tool nix genützt, da ich das kaputte Teil von Jemand Anderem
bekommen hat, der das Tool nicht installiert hat und nicht die 26b benutzt.

Was folgern wir daraus ?

Es kann nur einen Schutz geben, wenn ALLE !!! mitziehen und diese " Dienste "
aussperren !!

D.h.:
1: 26b - c oder d installieren
2: Das File ipfilter.xxx (.txt oder sonstwie) runterladen
3: Diese Datei in ipfilter.dat umbenennen
4: Die ipfilter.dat in den eMule Ordner kopieren
5: Der Punkt \" Filtere ungültige IP`s
bei den eMule - Einstellungen unter \" Server \" muß An ! sein!
6: eMule unbedingt neu starten !
7: Die Datei regelmäßig aktualisieren, neue Versionen ins Board posten !

Wie gesagt, das Ganze kann nur funktionieren, wenn möglichst viele Leute
mitziehen!
Wenn nicht, viel Spass beim saugen von kaputten Teilen und tagelangem warten !
Wenn die \" Dienste \" merken, das ihr Vorhaben funktioniert, dann wird man es
verstärkt einsetzen und im Muli läuft nix mehr !

als ergänzung dazu bleibt noch zu sagen dass man bei nicht archivierten audio- und videoformaten (mp3, avi, mpeg ...) auch mit beschädigten teilen ein noch lauffähiges file haben / bekommen kann, wenn nicht zu viele frames fehlen bzw. zerstört sind. dann hat man zwar eventuell mal ein knacken oder leichte aussetzer in musik oder video aber sonst läuft es. da sind archive und software doch wesentlich "empfindlicher".

gruss
Pan Tau

[Usul]

Zitat von Pan Tau

und das deshalb die dateigrösse für eine gewisse "qualität" bürgt ist recht leicht zu erklären.

Da bin ich mir nicht so sicher. Es kann durchaus mal passieren, das falsche Einträge in die Datei kommen, die in einer späteren Version wieder entfernt werden (Stichwort Paranoia ) -> Datei wird wieder kleiner. Genauso kann folgendes passieren: Mal angenommen, es gibt nur 100 IPs (also von 0 - 99, damit ich mir nicht die Finger wundschreibe) und ich sperre die Ips von 60-65, von 70-75 und von 80-85, also drei Einträge. Später kommen noch die Einträge 66-69 und 76-79 dazu, aber halt, dann kann man ja 60-85 schreiben, nur eine Zeile, aber gleicher Inhalt und mehr gesperrt als die alte Version, aber eine kürzere Datei (nur eine Zeile, die eigentlich 5 endspricht).

Umgekehrt kann es passieren, das eine größere Datei weniger Ips filtert als eine kleinere, wenn ein Block (z.B. 60-80) feiner granuliert wird, also 60-65 und 70-80, weil sich 66-69 als harmlos erwiesen hat. Dann ist die größere Datei natürlich auch "qualitativ hochwertiger", obwohl sie weniger filtert.

[NaP]

inwiefern die programmier des plus mods die ipfilter datei auch noch bearbeiten entzieht sich meiner kenntnis. doch wenn ich mir die "aktuelle" vom plus mod mit grade mal 4 kb betrachte und sie mit der damals aktuellen version 1.29 vergleiche, die 122 kb groß ist, dann stellt sich doch die frage, ob sie wirklich aktualisiert wurde....

[MxM.]

dazu 2 dinge

a) mir selbst ist es passiert das ich chunks an einzelpersonen gesendet habe, die quasi nie fertiggestellt werden konnten (beim 95% der anderen aber schon), was also meines erachtens nach irgendwo im nirvana ein bug ist (unter MxM habe ich dazu weitere ausführungen beschrieben)

b) halte ich von genau daher für richtig, die ipfilter.dat auf ein gewisses spektrum zu begrenzen. mir fallen da einige wichtige strategische center ein, die feste ip's haben... die ip's von fehlsendern halte ich wie gesagt für schwachsinn, teilweise führe ich sogar allgemeine ed2k lahm-schwierigkeiten auf das unnötige blockieren durch dieses feature darauf zurück.

jeder darf aber gern tun was er will.


bezüglich kaputter chunks bin ich der meinung sollte man ohne ipfilter.dat auskommen und erst wenn man merkt, dass eine datei wesentlich mehr lädt als sie zum fertigstellen braucht, manuell abbrechen...alles andere halte ich für übertrieben zumal das sehr selten vorkommt.

eine schlanke ipfilter.dat macht von daher auf mich viel mehr sinn, auch wenn 20.03. vielleicht dennoch nicht so aktuell ist.

[Pan Tau]

Zitat von Usul

Da bin ich mir nicht so sicher. ...

@ Usul: also beschwören kann ich es auch nicht. darum hab' ich ja den thread eröffnet. aber dass adressen oder ranges auch wieder entfernt bzw. editiert werden ist zu erwarten. wie gesagt > wettrüsten
es ist aber durchaus möglich dass du richtig liegst.
habe aufgrund deines postings mal die files verglichen (erstmal grob überflogen) und bin zu dem ergebnis gekommen dass die plus-versionen der ipfilter.dat wohl eher im bereich schlecht gepflegt anzusiedeln sind.
die erste mit 'nem plus-mod vertriebene ipfilter.dat war im 1a, die im 1b ist eine editierte, die im 1c auch, die 1d ist identisch mit der 1c (bit für bit!) und die 1e ist nur minimal verändert, und, interessanterweise, laut datum älter als die 1d die ja mit der 1c identisch ist.

@ NaP: zu der sich stellenden frage: >> wahrscheinlich nicht aktualisiert.
sieht eher so aus, als habe man einfach die die man noch irgendwo "rumfliegen" hatte mit ins archiv gepackt (ein "fehler" der von mir sein könnte ). dafür haben die coder aber ein, meiner ansicht nach, geniales 1e-mod abgeliefert. bisher lief, bei mir, kein mod besser als 1e - braucht weniger ressourcen, ist bisher noch nicht abgeschmiert, ist zusammen mit sivka am schnellsten mit der dateiüberprüfung nach einem neustart fertig (hab's auch mal bewusst mit 'nem taskmanager abgeschossen simulierter absturz ) ...

@ MxM. : zu a)

Zitat von Pan Tau

nicht alle beschädigten teile müssen absichtlich manipuliert sein, es gibt ja auch noch den "guten alten" datenübertragungsfehler

und bei schlechter leitung kann sich sowas auch häufen. ich denk da z.B. an meine tage mit modem zurück.
da die von dir angebotenen files ja dein geistiges eigentum darstellen und nicht die rechte oder interessen anderer beeinträchtigen, ist nicht davon auszugehen dass sie manipuliert und dann wieder angeboten werden. hoffe ich wenigstens!
zu b) 1. sie wird ja ständig gepflegt.
2. dass der durchsatz geringer wird liegt an der ipfilter.dat.
nur was habe ich von xy kb/s mehr downspeed wenn dieser teil der daten aufgrund von beschädigung wieder verworfen wird?
und selbst wenn man ausschliesslich die "fehlertoleranteren" audio- und videoformate (mp3, avi, mpeg ...) zieht, glaube ich nicht dass man nur wegen eines höheren downspeeds permanent musik oder filme mit kleineren "macken" herunterladen möchte, bzw. jedesmal in der lotterie "läufts oder läufts nicht" mitspielen mag. und genau so erbauend dürfte es sein mit den entsprechenden dateiformat-editoren x-mal rettungsversuche zu starten.

und jetzt komm mir bitte niemand mit donkeydoktor, der ist für 'ne andere art von problemen gedacht.
hier mal ein link zu 'nem post von renegade, in dem er ihn kurz beschreibt, bzw. den verwendungszweck darlegt.

gruss
Pan Tau

Hi,
die ipfilter.dat von XarGO ist die gleiche wie von der chora Seite (http://cvs.suche.org/horde/chora/cvs.php/ip.prefix). Der Download von XarGO wurde zur Verfügung gestellt, weil die Chora Seite öfters überlastet war. Ausserdem bot/bietet XarGO mehr Mirrors, von denen derzeit leider nur einer geht, was ich in den nächsten Tagen beheben werde.

[MxM.]

nochwas ein freund von mir hat seinen router ausgewechselt... und die verbindungen pro 5 sec runtersgeschraubt... und hat nun endlich nach 6 wochen oder so einen 1,5 GB file fertig ziehen können bei dem er sonst immer wieder den selben chunk lud... das ist vielleicht auch mal als tip nicht schlecht

der donkeydoctor hatte ihm übrigens auch nicht geholfen, ich hab ihm den chunk extrahiert, insofern hast du da völlig recht

und zum thema läufts oder läufts nicht... mir persönlich ist es erst ein einziges mal passiert, dass ein file den chunk wieder und wieder lud..

vielleicht liegt das auch daran dass ich maximal 25 conn / 5 sec habe ?



also ich mein das völlig ernst, wir haben das als ursache für das immer und immer wieder laden als ursache hreausgefunden... wenn das wirklich zu häufig passiert, schraub doch mal deine conn runter... ist mein voller ernst.

[Usul]

MxM.,

nicht voreilig sein. Wenn ich das richtig verstanden habe, ist bei deinem Freund eine Datei beendet worden, die vorher wochenlang mit defekten Chunks zu kämpfen gehabt hat. Und das genau dann, als ihr die max. Conn. per 5 Sek. runtergefahren habt. Das kann aber genausogut Zufall gewesen sein, eine Datei würde ich nicht als "Ursache gefunden"-Beweis hinnehmen. Als Tipp sollte man das aber wirklich in der Hinterhand haben.

[MxM.]

also dazu muss man echt sagen , dass wir ALLES probiert haben was sich in meiner knowledge befindet.

angefangen beim wechsel des mods auf seiner seite, auf meiner seite, auf beiden seiten... den gleichen mod benutzen, bei mir auf release. Er hat die Datei schätzungsweise 4x neu gestartet jedesmal das gleiche. Wir haben auch probiert, dass ich die Datei aus dem Share nehme (ich als Urheber des files) und er nur von den anderen Quellen saugt (Die Datei war gut genug verbreitet) aber auch das hat nichts geholfen. Mittels DonekyDoctor haben wir die Hashes verglichen , seiner war anders. Dadurch hat auch das chunkExtract und bei ihm Importieren nichts gebracht. Dazu haben wir aber dennoch auch jede erdenkliche Variante probiert.


schätzungsweise hab ich auf diese Weise 2 Gigabyte verbraten allein an den Typen.
ich hab keine Ahnung wieviel er im Download verbraten hat.


Am Ende meinte er sein Router sei wohl eh sehr sehr strikt beim blocken. Er hat diesen dann verkauft und einen neuen gekauft und hat ausserdem die max. Connection runtergeschraubt. Da es wirklich immer ein und derselbe Chunk war... geh ich nicht unbedingt von dem Router aus, das wär irgendwie bisschen sehr weit geholt..also gehen wir in erster Linie davon aus, dass es die max. Connections waren.

Vielleicht hilft das als Info.


PS: und bitte lass den ******* Punkt wenigstens bei der Ansprache weg, sonst nenn ich dich Usul.

[Blacklotus]

Zur IPFilter.dat: Ich halte den gesamten IPFilter für überlüssig, deshalb habe ich auch noch nie einen benutzt und werde auch in Zukunft keinen benutzen.

Wie mxm schon gesagt hat muss es noch einen Bug geben, denn auch ich hatte schon ein ähnliches Problem, dass ein Block immer wieder heruntegeladen wurde. Das interessante war dann nur das ich die part datei geprüft habe und überhaupt kein Block mehr gefehlt hattte.

Was ich nun schon öfters bemerkt habe, dass bei seltenen filez mit ca. 1-5 Quellen kein einziger Block beschädigt ankommt.

Ich kann mir nicht vorstellen das geringe Con per 5 Sek etwas bringen, denn ich habe meine momentan bei 90 und weiterhin keine Probleme mit filez mit wenig Quellen.

Zitat von MxM.

PS: und bitte lass den ******* Punkt wenigstens bei der Ansprache weg, sonst nenn ich dich Usul.

Der Sheriff hat gesprochen

[Usul]

Zitat von Blacklotus

Wie mxm schon gesagt hat muss es noch einen Bug geben, denn auch ich hatte schon ein ähnliches Problem, dass ein Block immer wieder heruntegeladen wurde. Das interessante war dann nur das ich die part datei geprüft habe und überhaupt kein Block mehr gefehlt hattte.

Ich hatte früher einige Dateien mit diesem Problem, seit der 0.28 nicht mehr (außer das hausgemachte Problem mit den superkomprimierten Blocks, was man ja durch Ausschalten der Funktion umgehen kann.) Allerdings gilt das nur für Downloads, die mit der 0.28 angefangen wurden.

Ich kann mir nicht vorstellen das geringe Con per 5 Sek etwas bringen, denn ich habe meine momentan bei 90 und weiterhin keine Probleme mit filez mit wenig Quellen.

*unterschreib*

Der Sheriff hat gesprochen

Nur zur offiziellen Information: Ich gehe auf solche öffentlichen, persönlichen Dinge seitens MxM. nicht mehr ein, das hat schon zu oft Streit provoziert. Er hat selbst immer als Argument gebracht, das er persönliche Dinge per PM geklärt haben will, soll er es auch so handhaben. Ich für meinen Teil halte mich daran und antworte auf solche öffentlichen Dinge von ihm, die in einer PM besser aufgehoben wurden, nicht mehr. Und bitte jetzt keinen Streit darüber jetzt, dafür gibts PM, ich kann aber nicht jedem ne PM schreiben und meinen Standpunkt zu den Kommentaren schreiben, die offensichtlich an mich gerichtet sind, aber von mir scheinbar nicht zur Kenntnis genommen werden. Deshalb ein hoffentlich letztes mal hier ein offizieller Standpunkt zu einer eigentlich privaten Angelegenheit (wie ich ihn anrede, kann man doch hoffentlich privat regeln, oder?)