Seit ein paar Tagen bin ich glücklicher Pilot-Anwender unseres neuen SPAM-Filters auf dem AUGE-Mailserver. 
Die Trefferquote liegt mit bisher 189 erkannten zu 144 nicht erkannten Spams (bei eingestelltem Schwellenwert 3) noch nicht sehr hoch. Aber das System ist ja lernfähig, und, soweit ich das bisher beurteilen kann, die Trefferquote scheint tatsächlich zu steigen. Anfangs lag ich bei ca. 45% Treffern.
Das erfreulichste: Ich habe bisher keine einzige fälschlich als Spam klassifizierte Mail (false positive) gehabt. Vielleicht liegt das aber auch nur daran, daß ich ernsthafte Mails (HAM) nur sehr wenig bekomme. Wir werden sehen.
Als extrem praktisch hat sich die Konfigurations meines Mail-Clients als IMAP-Client erwiesen. So habe ich mir AUF DEM SERVER verschiedene Ordner eingerichtet, u.a. einen namens "SPAM". In meinem Netscape Messenger habe ich mir einen Filter definiert, der beim Aufruf meines INBOX-Ordners die mit *****SPAM***** in der Betreffzeile gekennzeichneten Mails automatisch in diesen SPAM-Ordner verschiebt. Damit habe ich die Möglichkeit, mir die Liste dieser Mails später in Ruhe anzusehen, ob nicht doch eine "false positive" dabei ist. Meinen INBOX-Ordner kann ich ungeprüft komprimieren und bin damit über die Hälfte (demnächst hoffentlich noch deutlich mehr) des Datenmülls auf einen Schlag los.
Eine sehr schöne Anleitung, wie man IMAP auf verschiedenen Mail-Clients konfiguriert, bietet das Rechenzentrum der Uni Köln:
Nutzer von Outlook Express und Outlook können leider den Komfort, den ein IMAP-Server bietet, nicht voll nutzen, denn M$ unterstützt das Schreiben auf dem Server in frei gewählten Unterverzeichnissen (Ordnern) NICHT. 
Nachricht bearbeitet (19.04.2004 14:10)
hrk schrieb:
>
> Die Trefferquote liegt mit bisher 189 erkannten zu 144 nicht
> erkannten Spams (bei eingestelltem Schwellenwert 3) noch nicht
> sehr hoch. Aber das System ist ja lernfähig, und, soweit ich
> das bisher beurteilen kann, die Trefferquote scheint
> tatsächlich zu steigen. Anfangs lag ich bei ca. 45% Treffern.
>
Das ist nicht besonders gut. Nach meinen Erfahrungen geht das besser. Und ganz einfach mit der Standardeinstellung. Es kann aber natürlich sein das du besondere Spammer hast, auf die der Filter nicht so gut reagiert.
Der "lernfähige" Teil kann noch nicht richtig funktionieren. Dieser Bayes Filter arbeitet mit statistischen Auswertungen der Worthäufigkeit, wobei noch einige spezielle Algorithmen angewandt werden. Eine signifikante Steigerung der Erkennung erreicht man erst nach etwa 1000 Spammails.
Leider gibt es auch noch ein systembedingtes Problem. Nicht erkannter Spam muss manuell an den Bayes Filter gemeldet werden. Dafür haben wir noch keinen Mechanismus. Es sollte idealerweise eine Mail unverändert (auch der Header muss bleiben) zur Auswertung zurückgeschickt werden. Wie gut das die einzelnen Mailclients können würde mich interessieren. Wer hat da Erfahrungen?
Bye ... Michael
Michael Schäl (M6115) schrieb:
> hrk schrieb:
>
> >
> > Die Trefferquote liegt mit bisher 189 erkannten zu 144 nicht
> > erkannten Spams...
> Das ist nicht besonders gut. ...
>
> Der "lernfähige" Teil kann noch nicht richtig funktionieren.
> ... Eine signifikante Steigerung der Erkennung
> erreicht man erst nach etwa 1000 Spammails.
Da bin ich ja nicht mehr weit von entfernt.
>
> ... Nicht erkannter Spam muss manuell an den Bayes Filter gemeldet
> werden. Dafür haben wir noch keinen Mechanismus. Es sollte
> idealerweise eine Mail unverändert (auch der Header muss
> bleiben) zur Auswertung zurückgeschickt werden. Wie gut das die
> einzelnen Mailclients können würde mich interessieren. Wer hat
> da Erfahrungen?
In Absprache mit Florian, sammle ich erst einmal alles, was reinkommt, die erkannten und die nicht erkannten Spams, jede für sich in einem eigenen Ordner. Florian kann die Mails also jederzeit haben.
Aktuell stehe ich übrigens bei 217 zu 159. Das ist doch schon eine gewisse Steigerung (56,7% auf 57,7% über alle). Für die letzten 43 liegt die Quote sogar bei 65,1%. Mal sehen,wie´s weitergeht.
Die Kombination IMAP und Eudora 6 hat bei mir mitlerweile eine Trefferquote von 95% und mehr.
D.H. es kommen nicht mehr allzuviele Spam Mails in den Posteingang sondern landen direkt im Spam-Ordner.
Die Quote der Fehlerkennungen ist inzwischen auch gesunken.
Lediglich wenn die Absender kein Subjekt verwenden werden Nicht-Spams aussortiert...
Ciao
dirk
95% - da bin ich noch ein wenig von entfernt. Aber Deine Erfahrung läßt hoffen. 95% Trefferquote, das bedeutet bei ca. 100 Spams pro Tag ca. 5, mit denen man sich manuell auseinandersetzen muß, das ist OK, damit kann man leben. Und selbst wenn es mal 300 zu 15 wären, wäre das auch noch erträglich.
Mails ohne Betreff finde ich ohnehin ein Ärgernis. Wenn das ein Argument ist, nachlässige Absender dazu zu nötigen, ihren Mails einen Betreff zu geben, dann ist mir das gerade recht.
hrk schrieb:
> Mails ohne Betreff finde ich ohnehin ein Ärgernis. Wenn das
> ein Argument ist, nachlässige Absender dazu zu nötigen, ihren
> Mails einen Betreff zu geben, dann ist mir das gerade recht.
>
Das darfst du ja gerne bei deinen Mails machen. Aber halte dich bitte bei meinen Absendern raus.
Wir müssen vorsichtig sein, das wir den Spamfilter nicht für einige Leute unbrauchbar machen. Ich kann mir sicher auch einige Regeln ausdenken, die mit ziemlicher Sicherheit die meisten deiner wichtigen Mails treffen. Ich bin dafür im Zweifel lieber eine Spammail durchzulassen, als eine echte Mail zu blocken.
Ich habe die Statistik gerade gerechnet. Von meinem Spam sind 4 % ohne Betreff. Bei den echten Mails ist es 1 %. Das ist allerdings schon eine Wahrscheinlichkeit von 80%! Ich würde aber immer noch einen Sicherheitszuschlag zu Gunsten von Spam machen damit nicht versehentlich geblockt wird. Der leere Betreff ist ja nicht das einzige Kriterium.
Bye ... Michael
Es läßt nicht wirklich hoffen, da es ja auch immer noch Fehlerkennungen gibt.
Und die Menge des Spam wird immer mehr (heute waren es z.B. ca. 800 Mails).
Ein weiteres Problem sind Zustellungsfehlermeldungen und Viruswarnungen, die von Viren und Würmern erzeugt werden, die mit meinem Absender verschickt wurden. Da gehen dann die echten Fehler (die von mir versandten eMails erzeugt wurden) unter.
Ich sehe mich nicht mehr weit entfernt von dem Punkt, an dem eMail für mich unbenutzbar wird...
Ciao
dirk
PS
Heinz: fährt die S-Bahn wieder? Als ich heute um 12:30 vom Technologiepark nach Deutz wollte, da war im Stellwerk in Ehrenfeld der Strom ausgefallen...
Die "1" brachte mich dann gerade noch so zum Zug...
Michael Schäl (M6115) schrieb:
> hrk schrieb:
>
> > Mails ohne Betreff finde ich ohnehin ein Ärgernis. Wenn das
> > ein Argument ist, nachlässige Absender dazu zu nötigen, ihren
> > Mails einen Betreff zu geben, dann ist mir das gerade recht.
> >
>
> Das darfst du ja gerne bei deinen Mails machen. Aber halte
> dich bitte bei meinen Absendern raus.
Hä?!? Du sprächen Türkisch??
Wovon redest Du? Ich kann Dir nicht so ganz folgen.
Zur Klarstellung:
1.) Ich habe NICHT gesagt, man solle irgendetwas löschen. Nur markieren, den Rest kann der Anwender selber machen, inkl. des Verschiebens in ein SPAM-Verzeichnis.
2.) Ich habe NICHT gesagt, man solle alles, was keinen Betreff-Eintrag enthält unbedingt und per se als Spam markieren.
3.) Ich HABE gesagt, es freue mich, nachlässige Absender darauf hinzuweisen, sie mögen sich doch bitte insoweit disziplinieren, daß sie einen Betreff angeben, weil der fehlende Betreff EINES von vielen Spam-Kriterien sein kann.
4.) Ich HABE gesagt, daß es mich unabhängig vom Thema "Spam" ärgert, wenn jemand keinen Betreff angibt. Ich bin nämlich Sammler und hebe alle meine Mails auf. Und wenn die einen (sinnvollen) Betreff haben, kann ich die Mail auch ggf. schneller wiederfinden.
Also: Ruhig Blut!
Und erst einmal RICHTIG lesen, was der liebe Heinz da überhaupt geschrieben hat.
Inzwischen liege ich bei 330 / 190 / 0
(erkannt / unerkannt / falsch erkannt)
Das sind ca. 63,5% richtig erkannter SPAM, bei 0 fälschlich erkannten. Der Trend gefällt.