【云计算】分析ajax是如何请求并抓取头条街拍美图-职坐标

【云计算】分析ajax是如何请求并抓取头条街拍美图

小标 2019-01-14 来源：阅读 790 评论 0

摘要：本文主要向大家介绍了【云计算】分析ajax是如何请求并抓取头条街拍美图，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】分析ajax是如何请求并抓取头条街拍美图，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

步骤：

１、分析网页信息

请求头参数，用于构造url.

通过不断向下拉动滚动条，发现请求的参数中offset一直在变化（每次增加２０），所以每次请求通过offset来控制新的ajax请求。

２、通过ajax请求获取索引页面

'''
获取索引页
'''
def get_page_index(offset, keyword):
    data = {
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': '1',
        'from': 'search_tab'
    }
    # urlencode()可以将字典对象转化为url的请求参数
    url = 'https://www.toutiao.com/search_content/' + urlencode(data)
    try:
        response = requests.get(url)
        # print(response.status_code)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print("请求索引页出错")
        return None

３、解析ajax请求索引页的返回结果

'''
解析ajax请求索引页返回的结果
'''
def parse_page_index(html):
    data = json.loads(html)
    if data and 'data' in data.keys():
        for item in data.get('data'):
            yield item.get('article_url')

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！

阿里云计算超融合与云计算的区别电子科技大学云计算技术与应用

本文由 @小标发布于职坐标。未经许可，禁止转载。