Wie Google Books uns derzeit gewaltig in die Irre führt

Zu meinem Beitrag “Dramatische Verschlechterung bei der Arbeit mit Google Books” gab es nur wenig Resonanz. Null in INETBIB und Google+, 4 Kommentare hier, ein paar auf Twitter und Facebook.

@JW_Fr @Archivalia_kg @hypothesesorg das fiel mir heute auch auf! eine Stelle, die ich letzte Woche noch fand. ziemlich dramatisch…

— delabrioche (@EgliNanina) 13. Oktober 2016

@Archivalia_kg könnte das allenfalls damit zu tun haben? “will help point users to new content” https://t.co/67FJmehu3Q

— delabrioche (@EgliNanina) 14. Oktober 2016

absehbar. https://t.co/I5YjHDaqXW @Archivalia_kg @googlebooks https://t.co/otZ7rmPKJP

— Bob Göhℓεя (@bobgoehler) 13. Oktober 2016

Beobachtungen der Google Suchalgo-Dynamik in einem Nischenbereich. Spannend! Absicht? Nebeneffekt? lehrreich! https://t.co/lWN6MzNp6S

— Harald von Waldow (@hvwaldow) 13. Oktober 2016

@EgliNanina @JW_Fr @Archivalia_kg @hypothesesorg @JW_Fr mir war so etwas kürzlich passiert – ich dachte aber, ich hätte falsch gesucht…:-o

— bibliotheca altona (@BibAltonensis) 13. Oktober 2016

@JW_Fr @Archivalia_kg Das ist mir auch aufgefallen. Andererseits spuckt es zusätzlich Treffer zu nicht erschlossenen Titeln aus.

— Florian Dirks (@florian_d1) 14. Oktober 2016

@Archivalia_kg Da ist mir schon was aufgefallen, aber mir war nicht klar dass das möglicherweise ein grunds. Problem ist. Sehr bedauerlich!

— Jürgen Kloss (@JuergenKloss) 14. Oktober 2016

@Archivalia_kg jetzt wo du’ sagst… kann ich aus eig.Erfahrung best. Habe in letzter Zeit bei GBS-Recherchen kaum was brauchbares gefunden.

— Basso Continuo (@bckaemper) 14. Oktober 2016

@Archivalia_kg ich dachte bisher, es liegt an mir, oder am Thema, aber jetzt glaube ich auch, dass da gewaltig was faul ist 🙁

— Basso Continuo (@bckaemper) 14. Oktober 2016

Auf Facebook:

Lilja Triolet: “Das scheint nicht das einzige Problem. Peter Glaser machte schon vor Jahren darauf aufmerksam, dass Scanaufarbeitungen nicht von fachlich ausgebildeten Kräften vorgenommen werden und auf diese Weise letztlich Literatur und historische Texte verfälscht werden könnten. Diese Umstände hätten längst Gegenstand des Settlements sein müssen, quasi als weltweite Kontrolle, dass da vernünftig (und entsprechend entlohnt) gearbeitet wird. Es wäre ein “Tor” gewesen, die Eigentumstrukturen für eine derart heilige Aufgabe ernsthaft zu hinterfragen und eine “Weltgemeinwesen” orientierte Kontrolle (plus Support) irgendwie praktisch in der Debatte zu installieren.”

Tobias A. Kemper: “Ist mir auch aufgefallen. Viele Sachen aus dem 19. Jh. weg. Suche nach Personen mit massiv weniger Ergebnissen.”

Andreas Praefcke: “Ich habe letztens eigentlich immer noch ganz gut Informationen gefunden, die ich gesucht habe. Es ging u. a. um Sachen aus meiner Theatersammlung, zu denen ich seit etwa 10 Jahren nicht mehr im Internet recherchiert hattee und die damals keine Lösung fanden, jetzt aber mit Google, Google Images und eben auch Google Books schnell zu lösen waren. Ich habe aber auch das Gefühl, dass man weniger Snippets als früher zu sehen bekommt.”

Widerspruch kam also von niemand. Das Problem besteht darin, die eingetretenen Änderungen empirisch auf breiter Grundlage nachzuweisen, da wohl niemand über Backups von Google-Books-Suchen verfügt (meine eigenen Beobachtungen im Artikel können durch mich selbst nicht wesentlich vermehrt werden).

Was aber möglich ist, ist die Google-Treffer mit den Resultaten von HathiTrust, das ja überwiegend aus Google-Scans besteht und meist auch die OCR übernommen hat, zu vergleichen. Sowie mit ggf. weiteren im Netz auffindbaren Volltexten.

Vor Jahren habe ich mich mit Schillers Ballade Ritter Toggenburg befasst (siehe den Wikipedia-Artikel). Um weitgehend moderne Teilansichten über das Partnerprogramm zu vermeiden, wählte ich den Zeitraum 1940-1960 und grenzte die Treffer in Google Books entsprechend ein. Bei solchen Abfragen spart sich Google eine Trefferanzahl, es sind 25 (Trefferliste als PDF gespeichert). Angesichts der früheren Popularität der Ballade kann sie durchaus auch in naturwissenschaftlichem Kontext zitiert worden sein.

Die erweiterte Volltextsuche [in HathiTrust] nach der exakten Zeichenfolge Ritter Toggenburg und der Datumseingrenzung 1940-1960 erbringt 444 Treffer (Zahl schwankt, bei erster Suche 447), davon 5 in Vollansicht. Es gibt leider sehr viele Dubletten, allein bei der Vollansicht sind zwei abzuziehen. Alle drei verbliebenen Treffer sind insofern relevant, als sie tatsächlich Schillers Gedicht erwähnen.

Der erste Treffer bei Google Books (GBS) ist mit “keine Vorschau” bezeichnet, alle anderen sollen eine Snippet-Ansicht bieten. Aber von den 24 verbleibenden Treffern bietet genau einer, nämlich derjenige, der schon in der Trefferliste einen Textauszug anzeigt, tatsächlich ein Snippet. Alle anderen 23 ergeben als Fehlermeldung “Es wurden keine mit Ihrer Suchanfrage – “ritter toggenburg” – übereinstimmenden Dokumente gefunden.”, wenn man sie anklickt.

Wenn man bei der Suche im Buch im zweiten Treffer die Anführungszeichen weglässt, ändert sich nichts. Toggenburg wird nicht gefunden, aber bei der Suche nach Ritter sieht man einen Schnipsel, der tatsächlich “Ritter Toggenburg” zeigt.

Von den 25 Treffern weisen 11 Seitenzahlen auf. Im JffL (Treffer 4) soll auf Seite 235 Ritter Toggenburg vorkommen. Durch Snippets (Suche nach Ritter) stellt man fest, dass es sich um Bd. 11/12 von 1953 handelt. Seit 2010 (!) ist eine Volltextsuche vom MDZ angekündigt, aber bisher nicht realisiert. HathiTrust findet im Band nichts zu “Ritter Toggenburg”, und auf Seite 235 (und auf der Seite davor und den zwei Seiten danach) ist auch nichts von ihm zu finden.

Ich habe die über 400 Titel in HathiTrust (HT) anhand der Trefferliste durchgesehen und, mich auf mein Kurzzeitgedächtnis verlassend, nur in zwei Fällen Übereinstimmungen gefunden: bei GBS Nr. 1 (Musikwerk, ohne Ansicht) und der Literaturgeschichte von DeBoor (GBS Nr. 12).

Bereits wenn man die Trefferlisten vergleicht, sieht man, wie irreführend die GBS-Liste ist. Ins Auge springt bei HT die große Bedeutung von Franz Schubert für die Rezeption der Ballade im Schrifttum – Schubert kommt bei GBS nicht vor! Die naturwissenschaftlichen Treffer fehlen in HT.

Um die Anzahl der Dubletten in HathiTrust etwas besser einschätzen zu können, habe ich das Erscheinungsjahr 1955 ausgezählt. 11 von 35 Treffern sind auf Anhieb als Duplikate zu erkennen. Man kann also davon ausgehen, dass knapp ein Drittel Dubletten bei HT abzuziehen ist. Es bleiben also für Ritter Toggenburg in HT für die Erscheinungsjahre 1940-1960 etwa 300 reale Treffer. Bisher bestätigte relevante Treffer in GBS: drei (in Zahlen: 3).

Von den Zeitschriften scheint außer dem JffL nichts (außerhalb von HT) online vorzuliegen (teste Google und teilweise EZB/ZDB). Das Wiener Goethe-Jahrbuch weist in den Bänden 1939 bis 1947 bei HT tatsächlich einen Treffer auf (der bei der Suche nach 1940-1960 nicht gefunden wurde), also kann auch GBS Nr. 2 bestätigt werden. Damit erhöht sich die Zahl der nachweislich relevanten Treffer auf vier.

Um das Ergebnis abzusichern, muss nun jeder einzelne Treffer in GBS anhand von HT, soweit möglich, überprüft werden, wobei es zunächst genügt, nach Toggenburg zu suchen (angezeigt werden ja leider keine Schnipsel, sondern nur Seitenzahlen).

Nr. 5: Das Statistische Jahrbuch bezieht sich (das zeigt nur das Thumbnail und die Begriffswolke) nur auf Schleswig-Holstein, das Digitalisat ist wohl zu jung für HT (Juni 2016). Wieso sollte der Ritter Toggenburg darin vorkommen? Nr. 6: Tellur ist nach Thumbnail Gmelins Handbuch Aluminium, das ich bei HT nicht zu 1950 mit der Suche nach Gmelins Handbook finde. Die Obstbauzeitschrift Nr. 11 ist nicht in HT. Nr. 16 ist aufgrund unvollständiger Metadaten nicht auf Anhieb zu finden in HT, desgleichen Nr. 24, wobei ich in GBS die Wortwolke zu Visby anklickte – um nichts zu finden (andere Begriffe wie Inseln funktionieren und erbringen Snippets).

Suche nach Toggenbuch im Buchtext bei HT. Fehlanzeige bei Nr. 7, 8, 9, 10, 13, 14, 17, 19, 20, 21, 22, 23, 25. In 13 Fällen könnte also anhand von HT ausgeschlossen werden, dass Ritter Toggenburg vorkommt. Das betrifft auch Werke wie “Dichter im Alltag: Bilder zu einer unbekümmerten Literaturgeschichte”, deren Titel auf Anhieb einschlägig erscheint.

Es bleibt also dabei: Alles spricht dafür, dass von den 25 Treffern nur vier relevant sind (HathiTrust: ca. 300), also die gewünschte Zeichenfolge Ritter Toggenburg aufweisen. Nur bei einem Treffer funktioniert die Suche IM Buch. Auf Platz 12 steht DeBoors Literaturgeschichte, die entgegen der Angabe Googles bei der Suche im Buch tatsächlich relevant ist. Man kann also nicht davon ausgehen, dass die tatsächlich relevanten Treffer Snippets aufweisen oder nur auf den obersten Plätzen stehen.

Dass da etwas “gewaltig faul” ist, zeigt auch der Ngram-Viewer, der auch für Zeitspannen, bei denen GBS nichts findet, Treffer behauptet! Für 1946-1955 liefert die verlinkte Suche nur 5 Treffer (also weniger als es nach der übergreifenden Suche sein müssten), darunter auch ein in der ersten Trefferliste nicht angezeigtes Buch “Weltfahrt eines Schiffbauers” (laut HT nicht relevant).

Google hat juristisch freie Fahrt (siehe auch den aktuellen Artikel in der “Presse”), tritt aber nun bei den Snippet-Büchern plötzlich auf die Bremse.

Wissenschaftliche Bewertung: Zusammen mit den früheren Beobachtungen zum Google-Books-Fail erweist sich die Suche nach Büchern, die in Snippet-Form vorliegen, als so gut wie unbrauchbar. Durch zahlreiche irrelevante, also falsche Treffer werden Forscher in die Irre geführt. Die Kontrollmöglichkeit in HathiTrust dürfte den wenigsten bekannt sein.

Rechtliche Bewertung: Ich bin zwar kein UWG-Experte, denke aber, dass Anbieter eines Informationsangebots, auch wenn es kostenlos ist, wahrheitsgemäße Auskünfte geben müssen (Google zeigt ja Werbung in GBS!). In einem so riesigen Index wird man sicher rechtlich hinnehmen müssen, dass ein kleiner Teil der Suchergebnisse nicht das liefert, was man erwarten darf. Aber in dem von mir untersuchten Fallbeispiel ist es so, dass fast alle Treffer Schrott sind und aufgrund der nicht mehr angezeigten Snippets geeignet sind, das Publikum massiv in die Irre zu führen. Das geht so nicht.

Nachtrag: Der Beitrag wurde um 21:56 veröffentlicht. Nun ist es 23:26 und die Trefferliste sieht deutlich anders aus. Die Obstbauzeitschrift ist jedenfalls verschwunden, neu sind die oben genannte “Weltfahrt”, Liederdichter, “Revue internationale de la chocolaterie” und “Zeitschrift für Württembergische Landesgeschichte”. Wieder erheblich anders sieht die mit einem US-Proxy gerade aufgerufene Trefferliste in den USA aus (PDF): 8 neue Titel.

Nachtrag 31.10.2016: Aus Berkeley kam die erwartbare Antwort:

Our staff at our storage facility were kind enough to check the text for your wanted information. Here’s their response.

At any rate, thanks for giving us the citation – it helps. However, I don’t find any mention of Ritter Toggenburg in the “Schweizerische Zeitschrift für Obst- und Weinbau – Band 63 – Seite 423” or in the following or preceding pages. Ritter Toggenburg is a ballad by Friedrich Schiller, this journal is about fruit-culture, mostly viticulture, and the article that contains page 423 is more a report with no references to literature and Ritter Toggenburg as far as I can see. We are happy to scan the article for you if you wish.

Die Trefferliste (21 Treffer) sieht inzwischen vollständig anders aus (PDF). Nur die ersten drei Treffer stimmen überein, der Rest ist offenkundig “Such-Müll”.

#googlebooks

---

---