Я не уверен, что мой вопрос правильный, но я совсем новичок в скрапбукинге. Поэтому все комментарии, относящиеся к теме, будут полезны.
Моя проблема в том, что у меня есть веб-сайт со структурой (как документ json):
{ 2: {
1: 'http://example.com/1.jpg',
2: 'http://example.com/2.jpg'
}
...// bunch of other information
}
и ссылки связаны, но мне нужна прямая ссылка на эти изображения. Я пытаюсь решить эту задачу как:
urlData = scrapy.Request(url='http://myserver/1.jpg', callback=self.parse_link )
где функция обратного вызова:
def parse_link( self, response ):
Hxs = scrapy.selector.HtmlXPathSelector(response)
Data = LacBacLink()
link = Hxs.select("(//img)[1]/@src").extract()
Data["Link"] = link
return Data
Я считаю, что это будет работать правильно, если я смогу немедленно получить результат от функции запроса обратного вызова в scrapy.
Я попытался написать код, представленный в документации:
def parse_page1(self, response):
return scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
def parse_page2(self, response):
# this would log http://www.example.com/some_page.html
self.logger.info("Visited %s", response.url)
Это не работает для меня. Если вы знаете, как решить эту задачу с помощью этого кода, пожалуйста, дайте мне любую реализацию для лучшего понимания.
