2-2 用Python爬取銀河演員網上的演員參演電影的信息進行抓取

腳本中用到的actors_use.csv為之前從豆瓣上抓取的演員列表。

galaxyactors.py
# -*- coding: utf-8 -*-
#該腳本可以按照文件actors_use.csv中給出的演員的姓名
#對銀河演員網http://www.8fkd.com/上的演員參演電影的信息進行抓取
#信息包括演員參演電影和電影日期，參演電影數量，和演員出道年份
import requests
import time
import lxml.html
import re
from pandas import DataFrame
import pandas as pd
import random

headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
def getDoc(url):
    resp=requests.get(url,headers=headers)  #得到網頁響應
    time.sleep(0.1)   #暫停0.1秒，防止抓取太頻繁被封IP
    content=resp.text  #獲取相應內容
    doc = lxml.html.fromstring(content)  #得到xml格式的文本
    return doc

def getInfo(url):
    doc=getDoc(url)  #得到xml格式的文本
    #得到演員演過的電影列表
    temp1=doc.xpath('//*[@id="divLeft"]/div/div[2]/div/ul/li[1]/a/text()')
    #得到演員演過的電影的日期的列表
    temp2=doc.xpath('//*[@id="divLeft"]/div/div[2]/div/ul/li[2]/text()')
    #如果抓取到的電影列表不為空
    if temp1!=[]:
        actor_m = []  #初始化該演員演過的電影列表
        actor_d = []  #初始化該演員演過的電影的日期的列表
        actor_y = []  #初始化該演員演過的電影的年份的列表
        temp2=temp2[1:]  #由于數據結構的問題，temp2中除去第一項剩下的為電影日期
        for s in temp1:
            # print s.encode('utf-8')
            actor_m.append(s.encode('utf-8'))
        for s in temp2:
            # print s.encode('utf-8')
            actor_d.append(s.encode('utf-8'))
            # 取每部電影日期字符串的前四項，然后轉換成int數據類型，就是所演電影的年份
            actor_y.append(int(s.strip()[:4]))
        # print actor_m
        # print actor_d
        # print actor_y
        startYear=min(actor_y)  #演員出道年份就是演過電影的年份中的最小項
        movieNum=len(actor_m)  #統計演員演過的電影數量
        actor_info={'movies':actor_m,'date':actor_d}  #將演員演過的電影和電影的年份生成字典格式數據
        # print actor_info
        # print startYear
        # print movieNum
        return actor_info,movieNum,startYear  #返回演員演過的電影信息，電影數，出道年份三個數據
    else:
        return '-','-','-'  #如果沒有抓取到內容，則三項都返回'-'
    # print temp3
    # print chardet.detect(temp[0].encode('utf-8'))

df=pd.read_csv('actors_use.csv')
infoList = []  #初始化演員參演電影信息列表
numList = []  #初始化演員演過電影的數目列表
yearList = []  #初始化演員出道年份列表
actorList=[]  #初始化演員姓名列表
for i in range(0,3566):
    #演員電影頁網址為'http://yy.8fkd.com/'加演員姓名拼音，加'/DianYing'
    url='http://yy.8fkd.com/'+str(df.ix[i,'actors_id'])+'/DianYing'
    try:
        actor_info,movieNum,startYear=getInfo(url)  #調用getInfo函數
    except:  #如果出錯，則將三項標記為error
        actor_info, movieNum, startYear=('error','error','error')
    finally:
        #對演員參演電影信息列表、參演電影數列表、出道年份、演員姓名進行數據添加操作
        infoList.append(actor_info)
        numList.append(movieNum)
        yearList.append(startYear)
        actorList.append(df.ix[i,'leadingRoles'])
        tempDict={'actors':actorList,'info':infoList,'moviesNum':numList,'startYear':yearList}
        df1=DataFrame(tempDict)  #將結果數據轉換為DataFrame數據格式
        df1.to_csv('test.csv',index=False)  #寫入文件
        print i+1,':',df.ix[i, 'leadingRoles'],'(',movieNum,')'  #打印標記

?