Я хотел бы, чтобы мой веб-сканер загружал все просматриваемые URL-адреса локально. В данный момент он загружает каждый сайт, на который он приходит, но затем перезаписывает локальный файл на каждом посещенном веб-сайте. Поисковый робот начинает с www.bbc.co.uk, загружает этот файл, а затем, когда находит другой, перезаписывает этот файл следующим URL-адресом. Как я могу загрузить их в отдельные файлы, чтобы в конце у меня была коллекция? У меня есть этот код ниже, но я не знаю, куда идти отсюда. Будем признательны любому совету. URL-адрес в квадратных скобках (URL) — это строка, которая используется для управления всеми просматриваемыми веб-страницами.
URL url = new URL(URL);
BufferedWriter writer;
try (BufferedReader reader = new BufferedReader
(new InputStreamReader(url.openStream()))) {
writer = new BufferedWriter
(new FileWriter("c:/temp/data.html", true));
String line;
while ((line = reader.readLine()) != null) {
//System.out.println(line);
writer.write(line);
writer.newLine();
}
}
writer.close();
