在做爬虫的过程中，网页元素的定位是比较重要的一环，本文总结了python爬虫中比较常用的三种定位网页元素的方式。

1.普通的BeautifulSoup find系列操作

2.BeautifulSoup css选择器

3. xpath

这三种方式灵活运用，再配合上正则表达式，没有什么网页能难倒你啦。

我们以获取豆瓣电影top250第一页的电影标题为例来比较：

1. import requests
2. from bs4 import BeautifulSoup
3. from lxml import etree
5. # 通过find定位标签
6. # BeautifulSoup文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
7. def bs_parse_movies(html):
8. movie_list = []
9. soup = BeautifulSoup(html, “lxml”)
10. # 查找所有class属性为hd的div标签
11. div_list = soup.find_all(‘div’, class_=‘hd’)
12. # 获取每个div中的a中的span（第一个），并获取其文本
13. for each in div_list:
14. movie = each.a.span.text.strip()
15. movie_list.append(movie)
17. return movie_list
19. # css选择器定位标签
20. # 更多ccs选择器语法：http://www.w3school.com.cn/cssref/css_selectors.asp
21. # 注意：BeautifulSoup并不是每个语法都支持
22. def bs_css_parse_movies(html):
23. movie_list = []
24. soup = BeautifulSoup(html, “lxml”)
25. # 查找所有class属性为hd的div标签下的a标签的第一个span标签
26. div_list = soup.select(‘div.hd > a > span:nth-of-type(1)’)
27. # 获取每个span的文本
28. for each in div_list:
29. movie = each.text.strip()
30. movie_list.append(movie)
32. return movie_list
34. # XPATH定位标签
35. # 更多xpath语法：https://blog.csdn.net/gongbing798930123/article/details/78955597
36. def xpath_parse_movies(html):
37. et_html = etree.HTML(html)
38. # 查找所有class属性为hd的div标签下的a标签的第一个span标签
39. urls = et_html.xpath(“//div[@class=’hd’]/a/span[1]”)
41. movie_list = []
42. # 获取每个span的文本
43. for each in urls:
44. movie = each.text.strip()
45. movie_list.append(movie)
47. return movie_list
49. def get_movies():
50. headers = {
51. ‘user-agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36’,
52. ‘Host’: ‘movie.douban.com’
53. }
55. link = ‘https://movie.douban.com/top250’
56. r = requests.get(link, headers=headers, timeout=10)
57. print(“响应状态码:”, r.status_code)
58. if 200 != r.status_code:
59. return None
61. # 三种定位元素的方式：
63. # 普通BeautifulSoup find
64. return bs_parse_movies(r.text)
65. # BeautifulSoup css select
66. return bs_css_parse_movies(r.text)
67. # xpath
68. return xpath_parse_movies(r.text)
70. movies = get_movies()
71. print(movies)

补充：你可以通过chrome浏览器方便的获取网页元素的css选择器路径和xpath路径，如图