Quelltext aus Webseiten auslesen (Java)

Wenn man Webseiten bearbeiten oder parsen möchte, muss zunächst der Quelltext der Webseite geholt werden. Dazu wird ein Stream zur Datenquelle erzeugt. Es gibt mehrere Möglichkeiten, den Quelltext aus einem Stream in den Speicher einzulesen. Z.B. stehen uns hier die Klassen Scanner oder BufferedReader zur Verfügung. Welche davon genutzt wird, hängt z.T. von den persönlichen Vorlieben, von der Ziel-JRE, oder den benötigten Methoden ab.

Auf das Wesentliche reduziert

URL url = new URL("http://www.byte-welt.net");
Scanner scanner = new Scanner(new InputStreamReader(url.openStream()));

Damit ist ein Stream zur Index-Seite von Byte-Welt geöffnet, aus dem wir nun den Textinhalt der Webseite (also HTML-Text, nicht der PHP-Code) lesen können.

JTextArea ta = new JTextArea();
while(scanner.hasNextLine()) {
   ta.append(scanner.nextLine()+"\n\r");
}

add(new JScrollPane(ta);

In diesem Beispiel würden wir den ausgelesenen Quelltext in einer JTextArea ausgeben.

Ein Beispiel-Programm

Webseiten herunterladen und speichern