Wie Google Books uns derzeit gewaltig in die Irre führt

Zu meinem Beitrag „Dramatische Verschlechterung bei der Arbeit mit Google Books“ gab es nur wenig Resonanz. Null in INETBIB und Google+, 4 Kommentare hier, ein paar auf Twitter und Facebook.

Auf Facebook:

Lilja Triolet: „Das scheint nicht das einzige Problem. Peter Glaser machte schon vor Jahren darauf aufmerksam, dass Scanaufarbeitungen nicht von fachlich ausgebildeten Kräften vorgenommen werden und auf diese Weise letztlich Literatur und historische Texte verfälscht werden könnten. Diese Umstände hätten längst Gegenstand des Settlements sein müssen, quasi als weltweite Kontrolle, dass da vernünftig (und entsprechend entlohnt) gearbeitet wird. Es wäre ein „Tor“ gewesen, die Eigentumstrukturen für eine derart heilige Aufgabe ernsthaft zu hinterfragen und eine „Weltgemeinwesen“ orientierte Kontrolle (plus Support) irgendwie praktisch in der Debatte zu installieren.“

Tobias A. Kemper: „Ist mir auch aufgefallen. Viele Sachen aus dem 19. Jh. weg. Suche nach Personen mit massiv weniger Ergebnissen.“

Andreas Praefcke: „Ich habe letztens eigentlich immer noch ganz gut Informationen gefunden, die ich gesucht habe. Es ging u. a. um Sachen aus meiner Theatersammlung, zu denen ich seit etwa 10 Jahren nicht mehr im Internet recherchiert hattee und die damals keine Lösung fanden, jetzt aber mit Google, Google Images und eben auch Google Books schnell zu lösen waren. Ich habe aber auch das Gefühl, dass man weniger Snippets als früher zu sehen bekommt.“

Widerspruch kam also von niemand. Das Problem besteht darin, die eingetretenen Änderungen empirisch auf breiter Grundlage nachzuweisen, da wohl niemand über Backups von Google-Books-Suchen verfügt (meine eigenen Beobachtungen im Artikel können durch mich selbst nicht wesentlich vermehrt werden).

Was aber möglich ist, ist die Google-Treffer mit den Resultaten von HathiTrust, das ja überwiegend aus Google-Scans besteht und meist auch die OCR übernommen hat, zu vergleichen. Sowie mit ggf. weiteren im Netz auffindbaren Volltexten.

Vor Jahren habe ich mich mit Schillers Ballade Ritter Toggenburg befasst (siehe den Wikipedia-Artikel). Um weitgehend moderne Teilansichten über das Partnerprogramm zu vermeiden, wählte ich den Zeitraum 1940-1960 und grenzte die Treffer in Google Books entsprechend ein. Bei solchen Abfragen spart sich Google eine Trefferanzahl, es sind 25 (Trefferliste als PDF gespeichert). Angesichts der früheren Popularität der Ballade kann sie durchaus auch in naturwissenschaftlichem Kontext zitiert worden sein.

Die erweiterte Volltextsuche [in HathiTrust] nach der exakten Zeichenfolge Ritter Toggenburg und der Datumseingrenzung 1940-1960 erbringt 444 Treffer (Zahl schwankt, bei erster Suche 447), davon 5 in Vollansicht. Es gibt leider sehr viele Dubletten, allein bei der Vollansicht sind zwei abzuziehen. Alle drei verbliebenen Treffer sind insofern relevant, als sie tatsächlich Schillers Gedicht erwähnen.

hathitrust_toggenburg

Der erste Treffer bei Google Books (GBS) ist mit „keine Vorschau“ bezeichnet, alle anderen sollen eine Snippet-Ansicht bieten. Aber von den 24 verbleibenden Treffern bietet genau einer, nämlich derjenige, der schon in der Trefferliste einen Textauszug anzeigt, tatsächlich ein Snippet. Alle anderen 23 ergeben als Fehlermeldung „Es wurden keine mit Ihrer Suchanfrage – „ritter toggenburg“ – übereinstimmenden Dokumente gefunden.“, wenn man sie anklickt.

Wenn man bei der Suche im Buch im zweiten Treffer die Anführungszeichen weglässt, ändert sich nichts. Toggenburg wird nicht gefunden, aber bei der Suche nach Ritter sieht man einen Schnipsel, der tatsächlich „Ritter Toggenburg“ zeigt.

gbs_toggenburg_1

Von den 25 Treffern weisen 11 Seitenzahlen auf. Im JffL (Treffer 4) soll auf Seite 235 Ritter Toggenburg vorkommen. Durch Snippets (Suche nach Ritter) stellt man fest, dass es sich um Bd. 11/12 von 1953 handelt. Seit 2010 (!) ist eine Volltextsuche vom MDZ angekündigt, aber bisher nicht realisiert. HathiTrust findet im Band nichts zu „Ritter Toggenburg“, und auf Seite 235 (und auf der Seite davor und den zwei Seiten danach) ist auch nichts von ihm zu finden.

Ich habe die über 400 Titel in HathiTrust (HT) anhand der Trefferliste durchgesehen und, mich auf mein Kurzzeitgedächtnis verlassend, nur in zwei Fällen Übereinstimmungen gefunden: bei GBS Nr. 1 (Musikwerk, ohne Ansicht) und der Literaturgeschichte von DeBoor (GBS Nr. 12).

Bereits wenn man die Trefferlisten vergleicht, sieht man, wie irreführend die GBS-Liste ist. Ins Auge springt bei HT die große Bedeutung von Franz Schubert für die Rezeption der Ballade im Schrifttum – Schubert kommt bei GBS nicht vor! Die naturwissenschaftlichen Treffer fehlen in HT.

Um die Anzahl der Dubletten in HathiTrust etwas besser einschätzen zu können, habe ich das Erscheinungsjahr 1955 ausgezählt. 11 von 35 Treffern sind auf Anhieb als Duplikate zu erkennen. Man kann also davon ausgehen, dass knapp ein Drittel Dubletten bei HT abzuziehen ist. Es bleiben also für Ritter Toggenburg in HT für die Erscheinungsjahre 1940-1960 etwa 300 reale Treffer. Bisher bestätigte relevante Treffer in GBS: drei (in Zahlen: 3).

Von den Zeitschriften scheint außer dem JffL nichts (außerhalb von HT) online vorzuliegen (teste Google und teilweise EZB/ZDB). Das Wiener Goethe-Jahrbuch weist in den Bänden 1939 bis 1947 bei HT tatsächlich einen Treffer auf (der bei der Suche nach 1940-1960 nicht gefunden wurde), also kann auch GBS Nr. 2 bestätigt werden. Damit erhöht sich die Zahl der nachweislich relevanten Treffer auf vier.

Um das Ergebnis abzusichern, muss nun jeder einzelne Treffer in GBS anhand von HT, soweit möglich, überprüft werden, wobei es zunächst genügt, nach Toggenburg zu suchen (angezeigt werden ja leider keine Schnipsel, sondern nur Seitenzahlen).

Nr. 5: Das Statistische Jahrbuch bezieht sich (das zeigt nur das Thumbnail und die Begriffswolke) nur auf Schleswig-Holstein, das Digitalisat ist wohl zu jung für HT (Juni 2016). Wieso sollte der Ritter Toggenburg darin vorkommen? Nr. 6: Tellur ist nach Thumbnail Gmelins Handbuch Aluminium, das ich bei HT nicht zu 1950 mit der Suche nach Gmelins Handbook finde. Die Obstbauzeitschrift Nr. 11 ist nicht in HT. Nr. 16 ist aufgrund unvollständiger Metadaten nicht auf Anhieb zu finden in HT, desgleichen Nr. 24, wobei ich in GBS die Wortwolke zu Visby anklickte – um nichts zu finden (andere Begriffe wie Inseln funktionieren und erbringen Snippets).

Suche nach Toggenbuch im Buchtext bei HT. Fehlanzeige bei Nr. 7, 8, 9, 10, 13, 14, 17, 19, 20, 21, 22, 23, 25. In 13 Fällen könnte also anhand von HT ausgeschlossen werden, dass Ritter Toggenburg vorkommt. Das betrifft auch Werke wie „Dichter im Alltag: Bilder zu einer unbekümmerten Literaturgeschichte“, deren Titel auf Anhieb einschlägig erscheint.

Es bleibt also dabei: Alles spricht dafür, dass von den 25 Treffern nur vier relevant sind (HathiTrust: ca. 300), also die gewünschte Zeichenfolge Ritter Toggenburg aufweisen. Nur bei einem Treffer funktioniert die Suche IM Buch. Auf Platz 12 steht DeBoors Literaturgeschichte, die entgegen der Angabe Googles bei der Suche im Buch tatsächlich relevant ist. Man kann also nicht davon ausgehen, dass die tatsächlich relevanten Treffer Snippets aufweisen oder nur auf den obersten Plätzen stehen.

Dass da etwas „gewaltig faul“ ist, zeigt auch der Ngram-Viewer, der auch für Zeitspannen, bei denen GBS nichts findet, Treffer behauptet! Für 1946-1955 liefert die verlinkte Suche nur 5 Treffer (also weniger als es nach der übergreifenden Suche sein müssten), darunter auch ein in der ersten Trefferliste nicht angezeigtes Buch „Weltfahrt eines Schiffbauers“ (laut HT nicht relevant).

Google hat juristisch freie Fahrt (siehe auch den aktuellen Artikel in der „Presse“), tritt aber nun bei den Snippet-Büchern plötzlich auf die Bremse.

Wissenschaftliche Bewertung: Zusammen mit den früheren Beobachtungen zum Google-Books-Fail erweist sich die Suche nach Büchern, die in Snippet-Form vorliegen, als so gut wie unbrauchbar. Durch zahlreiche irrelevante, also falsche Treffer werden Forscher in die Irre geführt. Die Kontrollmöglichkeit in HathiTrust dürfte den wenigsten bekannt sein.

Rechtliche Bewertung: Ich bin zwar kein UWG-Experte, denke aber, dass Anbieter eines Informationsangebots, auch wenn es kostenlos ist, wahrheitsgemäße Auskünfte geben müssen (Google zeigt ja Werbung in GBS!). In einem so riesigen Index wird man sicher rechtlich hinnehmen müssen, dass ein kleiner Teil der Suchergebnisse nicht das liefert, was man erwarten darf. Aber in dem von mir untersuchten Fallbeispiel ist es so, dass fast alle Treffer Schrott sind und aufgrund der nicht mehr angezeigten Snippets geeignet sind, das Publikum massiv in die Irre zu führen. Das geht so nicht.

Nachtrag: Der Beitrag wurde um 21:56 veröffentlicht. Nun ist es 23:26 und die Trefferliste sieht deutlich anders aus. Die Obstbauzeitschrift ist jedenfalls verschwunden, neu sind die oben genannte „Weltfahrt“, Liederdichter, „Revue internationale de la chocolaterie“ und „Zeitschrift für Württembergische Landesgeschichte“. Wieder erheblich anders sieht die mit einem US-Proxy gerade aufgerufene Trefferliste in den USA aus (PDF): 8 neue Titel.

Nachtrag 31.10.2016: Aus Berkeley kam die erwartbare Antwort:

Our staff at our storage facility were kind enough to check the text for your wanted information. Here’s their response.

At any rate, thanks for giving us the citation – it helps. However, I don’t find any mention of Ritter Toggenburg in the „Schweizerische Zeitschrift für Obst- und Weinbau – Band 63 – Seite 423“ or in the following or preceding pages. Ritter Toggenburg is a ballad by Friedrich Schiller, this journal is about fruit-culture, mostly viticulture, and the article that contains page 423 is more a report with no references to literature and Ritter Toggenburg as far as I can see. We are happy to scan the article for you if you wish.

Die Trefferliste (21 Treffer) sieht inzwischen vollständig anders aus (PDF). Nur die ersten drei Treffer stimmen überein, der Rest ist offenkundig „Such-Müll“.


6 Gedanken zu „Wie Google Books uns derzeit gewaltig in die Irre führt

  1. Heute habe ich den Eindruck, dass sich die Dinge wieder ein wenig zum Besseren wenden. So etwas wie das hier
    https://books.google.de/books?id=g7wVAQAAMAAJ&q=%22ymbrie%22&dq=%22ymbrie%22&hl=de&sa=X&ved=0ahUKEwjDt6yBm7zQAhVGEywKHYKhCpM4RhDoAQgaMAA
    habe ich auf jeden Fall schon länger nicht mehr gesehen. Snippet-Ansichten finden sich also wieder häufiger.
    Während die Treffermenge für „ymbrie“ (Genitiv von „ymbria“, einer mittelalterlich-lateinischen Bezeichnung für die Insel Fehmarn) zuletzt generell eher im 100er-Bereich lag, sind es jetzt wieder über 600. Das von mir in einem früheren Kommentar geschilderte Phänomen der nachträglichen Treffer-Reduzierung ist ebenfalls verschwunden (oder es tritt zumindest nicht mehr so offensichtlich auf).

    • Kann ich bestätigen, seit gestern abend, ca. 22 Uhr kamen bei mir die Snippets zurück. Ich vermute sogar eine Verbesserung der Treffermengen gegenüber den Sommermonaten.

  2. Zwei Vermutungen hätte ich anzubieten: Es wird eine (künstliche) Verschlechterung eines (vormals) kostenlosen Angebotes betrieben um die Einführung eines (besseren) kostenpflichtigen Dienstes vorzubereiten oder mit der sinkenden Nutzeranzahl die Schliessung des kostenlosen Dienstes begründen zu können.

  3. Ich habe inzwischen bei meinen Standard-Suchen den Eindruck, überhaupt keine Snippets mehr angezeigt zu bekommen. Ferner ist mir aufgefallen, dass Treffermengen im nachhinein reduziert werden. Während unten zunächst nur 6 Seiten (seltsamerweise inzwischen kaum noch mehr als 6!) an Treffern angezeigt werden, reduziert sich die Menge, wenn ich auf die 6. Seite klicke, dann oft nur noch auf eine Trefferseite.
    Ohne Snippets auch keine Fütterung mehr des Internet-Archive mit US-beschränkten Digitalisaten. Ist das der Zweck der Änderung?

  4. Weiterhin fehlen viele, viele Treffer – und zwar nicht irgendwelche Snippets, sondern Treffer aus Zeitschriften und Büchern des 19. Jh. und frühen 20. Jh. Früher habe ich über Google Books in der Zeitschrift „Markenschutz und Wettbewerb“ von 1912/13 den Streit der Berliner Schuhhändler Reinhold und Carl Stiller gefunden .- erscheint jetzt gar nicht mehr.
    Gleiches gilt für den Rechtsstreit, der in der „Allgemeinen Forst- und Jagdzeitung“, NF 48 (1872), S. 52-59, dokumentiert ist. Früher gefunden, jetzt futsch.

    Meine Frage: WARUM?

  5. Bleiben Sie bitte dran, Herr Graf. Ich hatte am gestrigen Abend erneut das Gefühl, dass die Trefferauswahl arg reduziert ist – auch wenn ich weniger systematisch als Sie vorgegangen bin. Aber in dieser extremen Form scheint es mir ein neues Phänomen, das sich von früheren „Fluktuationen“ unterscheidet. Gestiegen ist dagegen die Anzahl der offenkundig fehlerhaften „Buchempfehlungen“ neueren Datums.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.