Я знаю, что это специфично, но я ищу способ очистить следующий веб-сайт:
https://www.themoviedb.org/discover/movie?page=1
и вернуть список названий фильмов.
Я пробовал BeautifulSoup:
from bs4 import BeautifulSoup
import requests
r = requests.get('https://www.themoviedb.org/discover/movie?page=1')
soup = BeautifulSoup(r.text)
soup
Однако я не могу найти ни одного из заголовков в выводе. Я новичок в этом, но мне было интересно, может ли кто-нибудь привести пример того, как вы это сделаете?
Глядя на HTML, кажется, что информация о фильмах находится внутри <div>s с классом info.
from bs4 import BeautifulSoup
import requests
r = requests.get('https://www.themoviedb.org/discover/movie?page=1')
soup = BeautifulSoup(r.text, "html5lib")
items = soup.find_all('div', {'class' : 'info'})
for item in items:
print(item.p.a['title'])
Выход:
Split
Miss Peregrine's Home for Peculiar Children
Deadpool
Captain America: Civil War
X-Men: Apocalypse
Fantastic Beasts and Where to Find Them
Arrival
Tomorrow Everything Starts
Doctor Strange
La La Land
Sing
The Great Wall
Rogue One: A Star Wars Story
Batman v Superman: Dawn of Justice
Hacksaw Ridge
Zootopia
Inferno
Star Trek Beyond
Now You See Me 2
Passengers
Это должно приблизить вас:
for x in soup.find_all('div', {'class': 'item poster card'}):
print list(x.find_all('a')[1])
