Dubiose Fraunhofer-SIT-Studie
Daß das Fraunhofer-Institut für Sicherheit in der Informationstechnologie bzw. dessen Chefin dubiose Studien und Gutachten erstellen, ist hier ja nichts neues. Ein neuer Fall ist aufgetaucht.
Laut Golem.de gibt es da einen Streit zwischen United Internet und Microsoft um eine vom SIT erstellte Studie. Das SIT hatte Yahoo, Hotmail, Googlemail und die Maildienste von Web.de und GMX getestet. Letzter schnitten angeblich schlechter ab.
Ob die nun wirklich besser oder schlechter sind, will ich hier nicht bewerten. Erstens kenne ich die Dienste nicht alle selbst, zweitens bin ich da gerade beruflich befangen.
Bemerkenswert ist aber, daß das SIT laut Golem.de sich die Studie von Microsoft hat finanzieren lassen. Zwar hätten sie das nicht verheimlicht, aber dubios ist es trotzdem.
Man kann keinen objektiven und seriösen Vergleich anstellen, wenn man von einem der Prüfkandidaten dafür bezahlt wird. Sowas gehört sich einfach nicht, und wären das SIT bzw. Fraunhofer seriös, würden sie sowas auch nicht machen. Die Gutachter-Szene im deutschen Wissenschaftszirkus gleicht aber eher einem Straßenstrich. Für Geld bekommt man alles. Und das SIT ist ja auch nicht zum ersten Mal Thema in meinem Blog.
Das wirklich Fatala daran ist: Vielleicht ist die Studie ja nicht einmal falsch oder schlecht (ich kenne sie nicht, habe sie nicht gelesen, allerdings find ich bisher das meiste, was ich vom SIT gesehen habe, ziemlich schlecht). Vielleicht liegen sie mit dem Ergebnis ja sachlich betrachtet sogar richtig. Nur wer sollte einem solchen Institut und einer von Microsoft finanzierten Studie noch (ver)trauen?
8 Kommentare (RSS-Feed)
Danke für den Hinweis. 🙂
Daß die Bundesregierung das so will ist mir schon klar. Hab ich ja auch schon öfters geschrieben. Die Bundesregierung setzt häufig (siehe z. B. Internet-Enquete) Interessen- und Industrieverteter mit Sachverständigen gleich. Und auf einer Tagung (hab ich auch mal irgendwann gebloggt) hab ich mich mit dem damaligen BSI-Präsidenten in die Wolle bekommen, weil der in seinem Vortrag ganz offen gesagt hat, daß die Ansicht der Bundesregierung zur IT-Sicherheit überhaupt nichts mit technischer Sicherheit zu tun hat, sondern damit, daß die Security-Industrie steigende Umsätze meldet. Was anderes als Geldfluß kennen die da nicht mehr. Und auch die Vergabe von Aufträgen (ich habe mal die Akteneinsicht für einen Auftrag an das SIT durchgeboxt) läuft da sehr dubios. Siehe auch den IT-Gipfel, der vorgeblich der Sicherheit dient, aber de facto nur eine Auftragsplattform darstellt.
Das Problem ist mir durchaus bekannt. Und daß Fraunhofers sich aus Industriemitteln finanzieren müssen, um über Wasser zu bleiben, weiß ich auch. Nur: Das macht’s ja nicht besser, sondern noch schlimmer. Das heißt ja, daß sie nicht einfach (wie viele Professoren) nur etwas für Geld machen, weil sie korrupt wären und mal hin und wieder kassieren, sondern weil sie müssen. Wenn die ihre Quote (die Zahlen kannte ich bisher nicht) nicht erfüllen, bleibt denen doch gar nichts anderes mehr übrig als alles zu tun, wofür einer zahlt.
Insofern mögen die Gründe dafür nachvollziehbar und bedauerlich sein, das Ergebnis ist aber trotzdem, daß man deren Studien nicht trauen kann. (Und meine Erfahrungen mit der SIT-Chefin sollten ja bekannt sein.)
Zum Vorwurf der Pauschalisierung:
Das Problem ist mir bekannt, dessen bin ich mir bewußt. Das war auch einer der Gründe dafür, daß ich mein Blog aufgespalten und den ganzen Forschungskram in ein separates Blog (so ne Art Giftschrank) ausgelagert habe.
Das Problem ist aber nicht ohne weiteres lösbar. Denn ich bin nur eine Person, mache das nur nebenbei mit begrenztem Zeit- und Finanzaufwand, und habe nur mit viel Tricks und Methoden Zugang zu Akten. Eine detailliertere als so pauschalisierte Darstellung wäre oft nicht möglich, und wenn sie möglich wäre, würde sie nicht gelesen. Hin und wieder schreibe ich etwas längere Artikel, bekomme dann aber schon mitunter Beschwerden, daß den Leuten das Lesen zu lange dauert. Außer es ganz bleiben zu lassen habe ich in meiner Position nicht allzuviele Alternativen.
Ich glaube aber auch nicht, daß eine feinere Darstellung im Ergebnis besser wäre, weil dann nämlich das ganze zu sehr zerredet und zerfasert würde.
Außerdem muß man sich über den Vorwurf der Pauschalisierung einfach mal irgendwann hinwegsetzen und ihn ablegen. Denn an den Universitäten sind unglaublich viele unsachliche und persönliche Universalargumente in Umlauf, und mißliebige Ansichten oder Forschungsergebnisse zu diskreditieren, ohne sich in irgendeiner Weise konkret damit auseinanderzusetzen oder Fehler zu entdecken. Typische universitäre Rabulistik.
Zu diesen Methoden gehört, daß man jemandem entweder vorwirft, die Aussage wäre unbelegt. Betrachtet derjenige aber Einzelfälle und belegt das konkret, dann hält man ihm vor, er würde unzulässig verallgemeinern und pauschalisieren. Das sind solche 100%-Abdeck-Argumentationstechniken, die immer gehen und dem anderen überhaupt keine Chance mehr, dem Vorwurf zu entgehen. Absolut unseriös. Wenn man sich zu sehr darauf einläßt, alles zu akribisch und exakt darzustellen, kommt irgendwann gar nichts mehr raus, weil man sich zu sehr im Einzelfall verliert, zu viel Papier produziert und das keiner mehr zur Kenntnis nimmt. Man muß aufpassen, daß man vor lauter Bäumen den Wald nicht vergißt.
Ich weiß, daß es manchen nervt. Schreiben mir ja auch ab und zu mal Leute.
Es ist aber auch so, daß ich mit den begrenzten Mitteln und der begrenzten Zeit haushalten muß. Würde ich fürs Wenigtun auf Lebenszeit aus Steuergeldern bezahlt und hätte noch eine Laborausstattung und Mitarbeiter, könnte ich sicherlich deutlich bessere Ergebnisse erzielen.
Die Studie gibt es übrigens unter http://www.sit.fraunhofer.de/fhg/Images/FraunhoferSIT-SpamStudie_tcm105-168480.pdf zum Download.
Selbst beim Überfliegen der Studie fällt ins Auge, dass einige Beurteilungskriterien merkwürdig gewählt wurden werden andere wichtige Aspekte vernachlässigt werden.
Alles wichtige wird eigentlich auf Seite 65 gesagt: “Es ist jedoch bemerkenswert, dass bei allen Dienstanbietern keine externe Spam-Nachricht in der Inbox gelandet ist.”
Die grossen Unterschiede zwischen den Providern ergeben sich ansonsten aus grenzwertigen Kriterien zur Bewertung und Vernachlässigung von rechtlichen Aspekten.
Zum einen werten die Autoren Werbemails des eigenen Mailproviders als “internen Spam” und die restlichen Werbemails als “externen Spam”. Zwar können die Mails des Providers auch durchaus nervig werden, aber immerhin hat man dem Versand ja beim Anlegen des Accounts zugestimmt. Daher würde ich die Enstufung dieser Mails als Spam zumindest für fragwürdig halten. Das ganze wäre allerdings nicht weiter tragisch, wenn die Autoren die Trennung dieser beiden Arten von Spam wenigstens konsequent durchgezogen hätten. Für diverse Grafiken und Tabellen werden die Zahlen aber auch einfach aufaddiert. Da gmx und web.de wohl deutlich mehr Werbung verschicken als die anderen führt dies zu dem laut Studie schlechten Abschneiden der beiden deutschen Provider.
Für den externen Spam sind die Unterschiede zwischen den Anbietern nämlich deutlich
geringer und dürften sich wohl durch die unterschiedlichen gesetzlichen Verpflichtungen, die
im golem-Artikel erwähnt sind, erklären lassen.
Auch bleibt offen, wie die Autoren sicher stellen, dass die angelegten Test-Mailadressen tatsächlich alle unbenutzt waren und nicht von einem früheren Besitzer schon einmal verwendet und wieder freigegeben wurden.
Was ich aber wesentlich schlimmer finde, ist, dass false positives in der Studie überhaupt nicht berücksichtigt werden. Die Autoren erwähnen dies zwar selbst, aber das ändert nichts daran, dass die Ergebnisse so im prinzip relativ nichts sagend sind. Nach den Kriterien aus der Studie würde wohl ein Mailprovider am besten abschneiden, der überhaupt gar keine Mails zustellt.
Oh, danke für den Link. 🙂
Daß nach den Kriterien ein Provider, der gar nichts durchläßt am besten abschneidet, ist natürlich ein schönes Beispiel, um die Kriterien ad absurdum zu führen.
Ich hab die Studie noch nicht gelesen, nur eben mal überflogen. Erscheint mir als ziemlicher Unfug. (Und ich war lange im Spam-Abwehrbereich tätig.)
Denn einfach nur zu zählen, wieviele Spams da reinkamen, sagt nicht viel. Manche Spam ist einfach zu erkennen, andere sehr viel schwieriger. Es ist aber überhaupt nichts darüber gesagt, ob alle Provider mit gleichem Kaliber beschossen wurden, oder ob der eine vieleicht eine andere Art von Spam bekommen hat, als der andere. Die differenzieren da überhaupt nicht nach Methoden und Spamarten, und welche Detektionsmethoden eingesetzt werden.
Es wird – zumindest habe ich das beim schnellen Überfliegen nicht gefunden – auch nicht betrachtet, ob der Provider das Telekommunikationsgeheimnis wahrt, oder verletzt, denn gerade die amerikanischen Provider machen sowas nicht und fragen teilweise bei zentralen Datenbanken nach, indem sie die Nachricht usw. mitteilen. Ob also der Provider eine augenscheinlich gute Quote durch datenschutzrechtlich dubiose Methoden erreicht, scheint nicht betrachtet worden zu sein. Und wie Du schon ansprichst, das viel wichtigere Maß der false positives wurde anscheinend auch nicht betrachtet. Dazu hätte man nämlich auch mal systematisch spam-ähnliche ernste E-Mails schicken müssen.
Insgesamt erscheint mir die Herangehensweise – wir melden uns mal an, schreiben unsere Adressen in ein Portal, schauen was passiert und zählen mit – ziemlich laienhaft. Das kann jeder 14-jährige, und der Hausmeister auch. Daran ändert auch nichts, daß man das dann so formelmäßig hinschreibt. Wozu braucht man Wissenschaftler, um sowas auszuzählen?
Oder hat man doch die interessanten Kriterien weggelassen, damit der gewinnt, der zahlt?
Das bestätigt mal wieder meinen Eindruck vom SIT, ziemlich oberflächlich und naiv an die Sache heranzugehen. Viel kann Microsoft für diesen Käse wohl nicht gezahlt haben…
Pauschalisierung ist Abstraktion. Da is’ nix schlecht dran.
Wenn ein Institut sich ein Label anbappt, dann muß es sich negative wie positive Assoziationen, die mit diesem Label verknüpft sind, anrechnen lassen.
Es wird heutzutage massenhaft Unsinnsforschung betrieben (Zahnlücken fördern Herzinfarkt und Co.) und der Staat zahlt dafür. Zahlt mal eine Firma oder ein Privatmann, dann stecken Interessen dahinter. Das war auch eine unzulässige Pauschalisiereung.
Ich habe mich schon gefragt, wie man die Fragestellung überhaupt seriös untersuchen kann — man kann also nicht.
Der Provider hat lediglich zu transportieren und wenn gewünscht die typischen Spammails in einem anderen Ordner abzulegen, mehr nicht. Ich überlege schon, web.de zu kündigen, weil sie Anhänge scannen. Die gehen sie einen Dreck an. Der Provider kann den Endanwender nicht vor Betrug schützen. Das muß der selbst tun. Private Mail gehört auch nicht an den Arbeitsplatz — brieflich wie elektronisch.
Carsten
—
http://ruthe.de/cartoons/strip_0305.jpg
Zum Thema lange Artikel:
Ich denke, auch wenn sich manche beschweren, sind lange Artikel vollkommen in Ordnung. Es bleibt letzhin jedem selbst überlassen, ob man sich die Zeit dafür nimmt oder nicht. Mir ist es jedenfalls lieber, daß ich Informationen, die mich interessieren tage oder Wochen zeitverzögert lesen kann, wenn ich zu beschäftigt bin, sie gleich zu lesen, als daß ich sie gar nicht zu sehen bekomme.
Zu der Studie:
Ich habe mal einen kurzen Blick drübergeworfen und muß sagen, wenn mir ein BA-Student sowas als Diplomarbeit abgeliefert hätte, hätte er mit viel gutem Willen noch eine 3 bekommen.
Nachtrag:
Vielleicht war es ja einfach nur eine Studienarbeit, die sie zu Geld gemacht haben?
Mir ist klar, dass Du eine Privatperson bist, und mir ist klar, dass Du Dir der Pauschalisierungen bewusst bist. Und: Ich habe kein Problem damit. Du aeusserst Deine Meinung, und abstrahierst eben auf pauschalisierende Weise, um meinem Mitkommentierer gerecht zu werden.
Das ist natuerlich voellig in Ordnung. Schlimm ist soetwas, wenn es nicht als Meinung, sondern als Journalismus verkauft wird. Und das geschieht schrecklich haeufig, bei Dir habe ich das noch nicht gesehen.
Aber um dem ein bisschen entgegenzuwirken: Ich arbeite an einem Fraunhofer-Institut (nicht SIT), und bin der Meinung, durchaus sauber wissenschaftlich zu arbeiten. Das Fraunhofer im Allgemeinen dazu neigt, dies nicht immer zu tun, bestreite ich nicht.
Ich halte das fuer einen Designfehler der Regierung, wie Du schon herausgestellt hast.
Ich stimme Dir zu (wenn ich auch Deine Art der Pauschalisierungen nervig finde). Aber das ist ein Problem mit dem auch Fraunhofer zu kaempfen hat: Ein FhI muss 30-40% aus Industriemitteln holen, sonst wird es zugemacht.
Und das ist von der Bundesregierung so gewollt.