09.11.2022, 16:54 Uhr | Lesezeit: 5 Minuten
Wer im Internet etwas finden möchte, googelt in der Regel. Doch es gibt Webseiten, die selbst die beliebte Suchmaschine nicht findet. Denn sie befinden sich im sogenannten Deep Web.
Das Internet lässt sich am besten mit unserem Universum vergleichen. Genau wie das Universum immer größer wird, nimmt die Menge an Inhalten im Internet jeden Tag zu. Eine weitere Gemeinsamkeit: Über die unendlichen Weiten des Weltraums wissen wir nur einen winzigen Bruchteil. Das gilt ebenso für das Internet, das aus zwei Teilen besteht, dem sichtbaren und dem unsichtbaren Teil, dem sogenannten Deep Web. Das Erstaunliche: Das Deep Web ist um ein Vielfaches größer als sämtliche Inhalte, die beispielsweise über Google auffindbar sind.
Übersicht
Wie groß das Deep Web tatsächlich ist, weiß keine Suchmaschine und kein Mensch. Es gibt allerdings Annahmen. Eine Studie aus dem Jahr 2001 mutmaßt, das Deep Web sei etwa 550-mal größer als das Visible Web, also der sichtbare Teil des Internets. Vermutlich hat sich das Ausmaß in den vergangenen 20 Jahren noch vergrößert.
Um die beiden Teile am besten abzubilden, nutzen Fachleute daher gerne das Motiv eines Eisberges. Der kleine Teil über der Wasseroberfläche symbolisiert die sichtbaren Inhalte und der um ein Vielfaches größere Teil darunter steht für alle unsichtbaren Webseiten.
Ist das Deep Web ein anderes Wort für das Dark Web?
Wenn Inhalte nicht gefunden werden oder nicht gefunden werden sollen, liegt die Vermutung nahe: Hier treiben Kriminelle ihr Unwesen, die sämtlichen Datenverkehr geheim halten möchten. Das trifft auf das Deep Web nicht in Gänze zu. Illegale Waffengeschäfte oder der Austausch von verbotenen Dateien passieren innerhalb des Dark Web oder auch Darknet. Dieser dunkle Teil des Internets gehört allerdings zum Deep Web.
Das Darknet lässt sich nicht einfach aufstöbern und betreten. Hierbei handelt es sich um eine Art Privat-Club, in den jemand eingeladen werden muss. Mit Firefox oder Google Chrome geht das allerdings nicht. Dafür sind spezielle Browser notwendig, beispielsweise der Tor-Browser. Um damit tatsächlich in das Darknet zu gelangen, braucht es wiederum tiefergehende IT-Kenntnisse. Auf jeden Fall hat das Deep Web nichts mit dem Dark Web zu tun.
Lesen Sie auch: Surft man über den Tor-Browser wirklich anonym im Internet?
Warum sind Webseiten unsichtbar?
Auch das Deep Web lässt sich nicht mit den üblichen Browsern erreichen. Selbst für die größte Suchmaschine der Welt, Google, bleibt ein großer Teil des Internets völlig unsichtbar. Wie kann das sein? Grundsätzlich lässt sich jede sichtbare Webseite mit ganz einfachen Methoden unsichtbar machen. Dazu ein kleiner Exkurs, wie eine Suchmaschine überhaupt Inhalte aufspürt.
Im Grunde funktioniert das Visible Web wie ein Inhaltsverzeichnis. Es gibt einen sogenannten Index. Wenn eine Webseite indexiert ist, kann sie grundsätzlich von jeder Suchmaschine gefunden werden.
Einfach betrachtet gibt es zwei Möglichkeiten, warum Webseiten nicht im Index auftauchen:
- Technische Gründe: Eine Suchmaschine schließt Seiten aus dem Index aus, weil die Inhalte tief verschachtelt und sehr umfangreich sind.
- Gewollt oder selbstverschuldet: Hier hat der Seitenbetreiber ganz bewusst oder unbewusst per Programmierung eine Indexierung verhindert.
Ein typischer Programmiertrick funktioniert über den Quelltext einer Webseite, also die Ebene, in der per Programmierung bestimmt wird, wie eine Webseite auf dem Bildschirm aussehen soll. Durch Hinzufügen des HTML-Befehls Noindex landet eine Webseite automatisch im Deep Web.
Die fünf Kategorien des Deep Web
Bei genauerer Betrachtung des Deep Web gibt es noch mehr Gründe, warum Webseiten nicht über die üblichen Suchmaschinen auffindbar sind und somit unsichtbar.
Die Fachleute teilen das Deep Web in fünf Kategorien ein:
- Invisible Web: Diese Webseiten werden bewusst von den Seitenbetreibern nicht indexiert, beispielsweise durch den Noindex-Befehl. Über die Gründe kann spekuliert werden. Ein krimineller Hintergrund spielt dabei keine Rolle.
- Opaque Web: Opaque bedeutet blickdicht oder undurchsichtig. Diese Webseiten lassen sich grundsätzlich indexieren. Aufgrund der Tiefe der Webseite können die Inhalte nicht komplett von der Suchmaschine durchdrungen werden. Auch bestimmte Medien- und Dateitypen fallen darunter, beispielsweise umfangreiche PDF-Dokumente. Spam-Seiten fliegen ebenfalls aus dem Index. Das sind Webseiten, die nur programmiert worden sind, um im Google Ranking weiter oben zu landen. Selbst neue Webseiten fallen darunter, weil eine Suchmaschine einige Tage benötigt, um neue Seiten komplett zu durchdringen und zu indexieren. So fallen beispielsweise auch News-Artikel durch das Raster, weil ein Thema nur für sehr kurze Zeit aktuell ist.
- Private Web: Dazu zählen sämtliche Webseiten, die keine URL besitzen, sondern nur eine IP-Adresse, passwortgeschützte Seiten sowie die großen Datenbanken von Bibliotheken, Hochschulen oder Universitäten. Selbstverständlich auch sämtliche Intranet-Seiten.
- Proprietary Web: Ähnlich wie beim Private Web erhalten Suchmaschinen keinen Zugang, weil beispielsweise den Nutzungsbedingungen zugestimmt werden muss oder eine Registrierung notwendig ist. Die Inhalte dahinter können durchaus wertvoll sein, sind für die Suchmaschine allerdings unsichtbar. Google kann zwar viel, allerdings keine Seitenregistrierung ausfüllen – noch nicht.
- Truly Invisible Web: Darunter fallen vor allem Nicht-Standard-Dateiformate wie beispielsweise Flash oder softwarespezifische Formate.
Das unsichtbare Internet Wie genau funktioniert eigentlich das Darknet?
Google, Bing, … Warum gibt es eigentlich Suchmaschinen?
DSGVO Neue Cookie-Regelung! Warum muss ich auf Webseiten immer „zustimmen“?
Ist das Deep Web denn wirklich unsichtbar?
Klare Antwort: Nein. Selbst die unsichtbaren Inhalte lassen sich finden. Dafür gibt es tausende Spezial-Suchmaschinen, unter anderem für
- Wissenschaftliche Webseiten – https://www.wolframalpha.com/
- News-Artikel, die besonders aktuell sind und daher von allgemeinen Suchmaschinen nicht gefunden werden – https://paperball.news/
- Spezielle Dateiformate – https://duckduckgo.com/ (einfach an den Suchbegriff filetype:pdf für verschiedene Dokumentenformate oder contains:mp3 für Audio- oder Videoformate anhängen)
Um in Fachdatenbanken zu stöbern, haben Bildungseinrichtungen in der Regel eigene Suchmaschinen. Diese sind beispielsweise über einen sogenannten Online Public Access Catalogue – kurz: OPAC – organisiert. Dabei handelt es ich um einen Online-Zugang für Bibliotheken, beispielsweise an Universitäten.