Я новичок в scrapy и использую его для поиска вопросов и ответов на веб-странице. Я начал следующее с этой страницы.
Я пробовал с селектором таким образом, наблюдая за их xpaths:
sel = Selector(text=response.body)
spanList = (sel.xpath('//a/span').extract())
но при этом я получаю дублированный контент, я получаю вывод таким образом
"<span>How do I access my account online at Citibank Online?</span>",
"<span>What are the guidelines for creating an internet password?</span>",
"<span>I forgot my User ID for accessing my account online. How do I access my account online now?</span>",
"<span>How do I transfer funds to another bank account in India?</span>",
"<span>How do I transfer funds to my Rupee Checking Account from overseas?</span>",
"<span>How do I transfer funds from my Rupee Checking Account to my local bank account overseas?</span>",
"<span>How do I update my contact information?</span>",
"<span>I have not operated my Rupee Checking Account for a long time and I plan to visit India. Can I transact on my account when I visit India?</span>",
"<span>My Term Deposits with Citibank are due to mature soon. What do I need to do?</span>",
"<span>I would like to terminate my Term Deposits before maturity? Will I lose any money?</span>",
"<span>Why do I need to provide \"Customer Profile Update\" forms so often?</span>",
"<span>How do I access my account online at Citibank Online?</span>",
"<span>What are the guidelines for creating an internet password?</span>",
"<span>I forgot my User ID for accessing my account online. How do I access my account online now?</span>",
..................
если вы обратите внимание на часть вывода, которую я опубликовал, там снова повторяются первый и третий отрезки.
Есть ли способ написать хорошее регулярное выражение, которое извлекает содержимое без повторения.
примеры xpaths вопросов со страницы, которую я упомянул,
/html/body/div1/ div[2]/div[3]/div[2]/div/div[2]/div/div[3]/div1/div[3]/div1/a/span
/html/body/div1/ div[2]/div[3]/div[2]/div/div[2]/div/div[3]/div1/div[5]/div[5]/div1/a/span
/html/body/div1/ div[2]/div[3]/div[2]/div/div[2]/div/div[3]/div1/div[5]/div1/div1/a/span
