3 Gedanken zu „Das wars leider mit dem Hathi Download Helper“

  1. Mit wget/curl kann man Einzelseiten der Werke (Bilddateien), automatisiert herunterladen.
    Die URL einer solchen Bildes hat die Form (Bsp.) https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=9;width=680 )
    darin ist eine Sequenznummer, hier „9“.

    wget benötigt eine Liste aller Bildurls, die man mit diesem Tool: http://www.neodownloader.com/tools/link-builder/
    (oder einem eigenen Script) bauen kann. Eingabe für das Beispiel:
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=%5B0-48%5D;width=680
    ergibt

    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=0;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=1;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=2;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=3;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=4;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=5;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=6;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=7;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=8;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=9;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=10;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=11;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=12;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=13;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=14;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=15;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=16;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=17;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=18;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=19;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=20;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=21;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=22;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=23;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=24;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=25;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=26;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=27;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=28;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=29;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=30;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=31;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=32;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=33;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=34;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=35;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=36;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=37;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=38;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=39;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=40;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=41;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=42;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=43;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=44;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=45;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=46;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=47;width=680
    https://babel.hathitrust.org/cgi/imgsrv/image?id=hvd.32044106473937;seq=48;width=680

    Die so entstandene Liste übergibt man wget. Gut ist, zwischen den einzelnen Downloadversuchen variant zu warten (–random-wait) und die benutzte Bandbreite zu limitieren (–limit-rate ) um ein Blättern wie auf der Website zu emulieren. Ggf., d.h. wenn der Server die Auslieferung verweigert, muss man hier verschiedene Werte probieren oder über wechselnde Proxies zugreifen.
    Wahrscheinlich geht das auch mit den PDF-Dateien, so das man das google-Branding nachträglich entfernen kann, ist es doch in den PDF-Datein ein zusätzlicher Layer, in den Bilddatein ist es (logischerweise) fest drin.
    Die heruntergeladenen Bilddateien kann man dann nach Wahl mit OCR weiterverarbeiten (bestenfalls hat man vorab mit Jens Guldens wunderbaren Tool „unpaper“ den ganzen Scanschmutz entfernt manpages.ubuntu.com/manpages/trusty/man1/unpaper.1.html ) und anschließend zum Format der Wahl wandeln.
    Zugegeben alles andere als komfortabel und nicht „klickibunti“. Für wget und curl gibt es aber nette graphische Benutzeroberflächen, wenn man die Konsole nicht mag. Es gibt wohl auch eine Windows-Portierung beider Programme und der GUIs.

    Ein Unding übrigens, das auch gemeinfreie Werke einen „Partner-Login“ für den Download benötigen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.