更新:亂碼問題已經解決了。
將下面代碼中的紅色部分改為下面這樣就不會出現個別職位信息亂碼的情況了。
soup2 = BeautifulSoup(wbdata2, 'html.parser',from_encoding="GBK")
另外: 建立了一個微信公眾號,主要分享軟件視頻教程、文檔筆記、軟件工具和生活DIY等方面。
希望能認識更多志同道合共同進步的朋友。
微信公眾號:cool_book
================================================
大家好,我遇到的問題是這樣的:
問題背景:Python3.4爬取前程無憂招聘信息。環境:Pycharm ?Python3.4
問題:爬取的多數網頁的招聘信息是正常的,個別網頁出現亂碼,但是我瀏覽器打開亂碼的個別網頁,顯示也是正常的。里面內容是中文的招聘信息。這是為什么呢?終端輸出的正常和摻雜在里面的亂碼招聘信息如下。
#!/usr/bin/env python3
# -*- coding: utf-8
import re
import urllib.request
import bs4
import sys
import json
import csv
import requests
from bs4 import BeautifulSoup
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36','Connection': 'keep-alive',
}def get_index_url(url):wbdata = requests.get(url, headers=header).contentsoup = BeautifulSoup(wbdata, 'html.parser')links=soup.select('html > body > div.dw_wp > div > div.el > p.t1 > span > a')# print(links)for link in links:page_url=link.get('href')print(page_url)wbdata2 = requests.get(page_url, headers=header).contentsoup2 = BeautifulSoup(wbdata2, 'html.parser')#這句導致的有時候亂碼
#body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > h1name = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div.in > div.cn > h1')[0].textprint(name)jieshao = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tCompany_main > div.tBorderTop_box > div.bmsg.job_msg.inbox')[0].textprint(jieshao)# body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong# gongzi = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong')[0].text# print(gongzi)# for name,jieshao in zip(name,jieshao):# data = {# 'name':name.get_text(),# 'jieshao':jieshao.get_text(),# }# print(data)f = open("C:/111.txt", 'a',encoding='utf-8')f.write(name)f.write(',')# f.write(jieshao.strip('/n'))# f.write(gongzi)f.write(',' + "\n")f.close()# for i in range(1, 1):#url = "https://dl.fang.anjuke.com/loupan/all/p" + str(i) + "/" # 翻頁
url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=230300%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keywordtype=2&curr_page="+str(1)
get_index_url(url)# print(i)
======================終端輸出================
C:\Python34\python.exe C:/Users/Administrator/PycharmProjects/untitled/test.py
http://jobs.51job.com/dalian-zsq/94580637.html?s=01&t=0
http://jobs.51job.com/dalian/94579847.html?s=01&t=0
物業顧問
職位描述:
1、負責業主的房屋的租售。2、為業主辦理相關房屋出租及銷售手續。3、物業一般性工作。要求:1、熟悉房地產交易市場關于房屋出租及銷售相關流程和需要的材料。 ? ? ? ? ? ? 2、***。
職能類別:
物業管理專員/助理
關鍵字:
物業服務
舉報
分享
[color=#FF0000]
http://jobs.51job.com/dalian-zsq/74735018.html?s=01&t=0
é?ó°?D??é?ó°ê|
?°???èê?£o
è??°òa?ó£oè?1??ú?aòμ?ú??ó¢£?é?ó°??ê?3?èo£?íˉ?????á?a?úìá1?àí??μ?D?×ê′yó?£?ìá1???óDìì?¨°?μ??èì¨?£1¤×÷ê±??£o??9:00íí18:00D?×ê′yó?£oμ×D?+ìá3飨5000-10000?a£?£?è??ú?±£??a·??±1¤2í£???íí°à3μ
?°?üàà±e£o
é?ó°ê|/é???ê|
oó?ú??×÷
1??ü×?£o
é?ó°
????
PS
êy??
oó?úDT??
DTí?ê|
èí?t
oó?ú
ó°êó
?ù±¨
·??í[/color]
http://jobs.51job.com/dalian-zsq/91039157.html?s=01&t=0
平面設計師
職位描述:
1、工作內容1)對集團企業的VI(企業視覺識別)、AI(企業聽覺識別)、EI(企業環境識別)等基本要素設計,進行構思設計實施;2)各種廣告、海報、紙媒的設計、排版制作;3)按照各活動時間完成制作,并保證設計質量;4)對項目各類宣傳品的設計、排版制作;5)完成新新項目與市場拓展中的宣傳廣告設計制作;6)大型活動的宣傳品制作、公司統一形象的文字書寫;7)負責與廣告公司、印刷公司的電子文檔的往來、制作完成后的賬務數量確認;8)跟蹤制作數量,結賬金額,并上報企劃經理審核;9)對項目宣傳品發放的落實追蹤、改進措施;10)大型活動贈品的購買、送達、跟蹤;11)負責項目的裝飾、廣告設計、渲染節慶活動現場的氣氛布置;12)負責企劃部對外所有票據核對、清查、票據記錄完整;13)協助設計紙媒完成公司企劃工作;14)協助完成宣傳設備設施的每月盤點;15)完成本部門的其他工作;2、工作權限:1)對各種廣告的設計建議權;2)對本部門工作有參與權和建議權;3)項目企劃工作的監督、檢核權;4)廣告印刷品的監督權,以免造成浪費;5)對合作的廣告公司、印刷公司有建議、監督權;3、工作責任:1)遵守公司制度匯編;2)因工作失誤,導致出現不良后果,造成經濟損失承擔直接責任;3)對項目員工有企劃業務知識培訓的責任;4)賬務錯誤承擔主要責任;4、人員配置1)1人,主管級2)人員素質及上崗條件a.***,25~38歲,專科以上學歷;b.頭腦靈活,具有很強的創新精神,了解項目行業;c.活潑開朗,有團隊合作意識,責任心強;d.熟練使用辦公軟件、平面設計軟件;聯系電話:13998523555 ?丁***
職能類別:
平面設計經理/主管
舉報
分享
http://jobs.51job.com/dalian-gjzq/94581554.html?s=01&t=0
電子商務助理/專員
職位描述:
崗位職責:1.對電商類工作感興趣;2.好學,細心,有良好的邏輯思維能力;3.工作認真,可以從實習生做起任職要求:1.能夠盡快入職,工作認真努力;2.能夠很好地完成領導分配的任務;3.可以從實習生做起4.年齡18-30歲
職能類別:
電子商務專員
舉報
分享
http://jobs.51job.com/dalian/94581216.html?s=01&t=0
企劃專員
職位描述:
熟練使用Photoshop等軟件。有一定文字功底。工作時間8:30-17:30
職能類別:
平面設計師
其他
舉報
分享
http://jobs.51job.com/dalian-gxyq/94473367.html?s=01&t=0
銷售代表
職位描述:
崗位職責:1. 對來訪咨詢者接待:全面、準確、有針對性的做好咨詢工作,幫助咨詢者了解其想了解的信息為起選擇培訓課程做參考;;2. 持續穩定地實現個人銷售目標;3. 通過團隊合作實現由中心總監設定的銷售目標,與同事和學員建立密切的關系,以達成銷售和服務目標;4. 參加銷售培訓并做業務陳述,以便為潛在客戶設計合適的課程,并按時完成個人目標;5. 完善課程顧問的學員跟進數據庫,確保達成學習目標;6. 按時分析個人表現,開發個人和企業客戶;7. 參加例會和銷售培訓,確保完成每日銷售報告。任職要求:1. 大專以上學歷,1年及以上直接銷售經驗(有B2C銷售經驗優先)和/或客戶服務經驗;2. 熱愛銷售,愿意挑戰高薪;3. 強烈的團隊精神和出色的溝通能力;4. 強烈的責任感與客戶服務意識(可接受靈活的工作時間安排);5. 有IT知識背景者優先考慮;6、優秀應屆畢業生也可考慮;備注:1、每個月不定期小型聚會,元旦元宵、五一、端午節、中秋、元旦PARTY、年終尾牙、春節紅包等福利;不定期團建;小禮品;2、綠植化式辦公環境優雅舒適、純凈水飲水機、中央空調。配有各自辦公桌電腦、單線座機;3、季度調薪;能力提升、根據個人能力管理崗位發展;4、晉升機制:初級咨詢師-中級咨詢師-高級咨詢師-咨詢組長-咨詢經理-咨詢總監5、社會福利:入職繳納五險一金;只要你有能力;我們給你足夠的平臺!上市公司期待您的加入!!歡迎您投遞簡歷!!!承諾必答,使命必兌!!
職能類別:
銷售代表
舉報
分享
http://jobs.51job.com/dalian-gxyq/94473843.html?s=01&t=0
車間現場管理/調度/副主任/五險一金/周末雙休
職位描述:
1.負責車間管理工作,完成公司下達的各項生產任務,并做好每月生產報表及各項統計;負責生產計劃落實,物料準備,新產品導入準備;2.規劃分配車間工作,監督車間工人的工作質量、工作進度;3.建立健全并落實車間各項規章制度,及時有效地處理車間發生的設備、質量、安全等故障及事故,并及時向上級主管匯報;4.提出改進工藝流程、生產設備、生產環境等方面的建議;任職要求:1、5年以上食品車間管理經驗2、45歲以內3、具備生產管理能力,具備較強的質量意識4、具有作業現場人員管理能力,有較強的團隊領導力和帶動力,能很好的分析問題和解決問題
職能類別:
生產經理/車間主任
生產主管
關鍵字:
車間現場管理
調度
副主任
舉報
分享
http://jobs.51job.com/dalian/71593713.html?s=01&t=0
總經理助理(外協專員)
職位描述:
職位描述:1、配合辦公室及工程部做公司及工程相關的外聯工作;2、主持制定和執行公關計劃,配合公司對外項目各公關活動;3、協助辦公室處理與各部門溝通合作事宜;4、完成領導交給的其它任務。任職資格:1、有行業2年以上工作經驗,有法務工作背景優先;2、法學、經濟法等相關專業,本科以上學歷;3、工作細致、認真負責、敬業;4、具備獨立的工作能力和團隊精神;5、形象好,氣質佳 。
職能類別:
公關專員
關鍵字:
公關
舉報
分享
http://jobs.51job.com/dalian-gjzq/86175733.html?s=01&t=0
數控車工
職位描述:
任職要求:1.數控專業中專或職高及以上學歷,受過數控操作等方面的培訓。2.2年以上本崗位工作經驗。3.具備生產加工方面的知識,熟悉數控機床操作,具有獨立編制加工程序的知識和識圖能力。4.
職能類別:
數控編程
關鍵字:
數控
編程
舉報
分享
http://jobs.51job.com/dalian/94580792.html?s=01&t=0
消防主管
職位描述:
1、消防主管在部門經理的領導下進行工作,其工作對部門經理負責。 2、認真貫徹《消防法》,在消防安全委員會及本部門經理的領導下,負責公司所轄區域的消防安全工作。 3、檢查消防中控人員的工作情況。 4、對工作中存在的問題進行研究,提出解決辦法,并向部門經理匯報。 5、負責消防的管理工作,制定工作計劃,做消防工作年終總結和工作考核,負責消防人員的思想教育及培訓。 6、定期對公司所轄區域的消防設施、設備、器材進行檢查和維修保養。 7、制定并落實消防安防工作的制度、規定、計劃。 8、定期對全體員工及新入職員工進行消防常識和專業技能宣傳、教育培訓。 9、負責對本部門消防人員進行績效評定; 10、制定施工防火安全制度、協議書,并對施工現場進行安全巡視檢查、發現問題,及時整改。 11、定期對辦公區域和重點部位進行防火安全檢查,發現隱患,及時解決。 12、每天對消防中控室進行巡視檢查,及時糾正違紀現象。 13、參加每周部門例會,匯報一周工作及下周工作安排。任職資格: ? ? 1、年齡25-40歲。 ? ? 2、健康狀況良好,吐字清晰,普通話流利,語速正常。 ? ? 3、學歷要求:大專以上學歷。 ? ? 4、專業背景要求:有消防構建證,掌握消防知識、法規。 ? ? 5、計算機水平:熟練操作windows、Office等各類辦公軟件。 ? ? 6、良好的語言表達能力和文字能力,具備一定的公文寫作及方案整合能力。 ? ? 7、有一定的業務培訓能力。
職能類別:
物業管理主管
舉報
分享
http://jobs.51job.com/dalian-zsq/83851564.html?s=01&t=0
?D???í·t£¨??é?£?
?°???èê?£o
í?μY?òàú?°£???×D?????áò???1¤×÷ê±??£?2??óêüé?°àê±??£????eí?μY?£??°à£o9:00--18:00£?íí°à£o14:30--23:30£¨òa?ó?ú1???é?°à£???°à′ò3μ???ò£?1???ê챨êμ?ú′ò3μ·?ó?£?£?DY?¢ê±??£o???ü??DY£?μ?ê?2??ü±£?¤???ú?ü??DY?¢£?′?DY?£?ú???°?e£o1?¢?÷òaí¨1y??é??a′eoíμ??°1μí¨μ?·?ê?à′?a′e1ú?ú?í?§μ?×é?ˉ£?2¢???í?§μ??êìa?°ê±×?3???′eoí·′à?£?2?¢????òaμ??ˉì?D??¢?°ê±í¨?a?á?±£?2¢??μ??¢D-?ú?á?±??DDí????à1?μ?2ù×÷£?3?¢êìá·2ù×÷1???í????àá¢oó쨣??°ê±′|àí??DD?Dμ?°??t£?4?¢?íD?óè1??í?ê??μ?·t??£????ó?í?§μ??úòa?è£????¤?í?§1??μ?£?°??òa?ó£o1?¢??í¨?°±ê×?£??ú3Y???ú£?2?¢??óD?íD?oí?eè?D?£???óDí??óo?×÷òaê?£?3?¢???????Y?¢á?o?μ?·t??òaê?£?μ???2ù×÷êìá·£?4?¢?Dר?°ò?é??§àú?£?£à?′yó?£o1?¢1???ìá1?íêé?μ?D?×ê?¢????ò??eμè?£à?′yó?£?2?¢1????¨?úìá1?ó???μ??±1¤?±à?·?ê?£??üá|ó?D???£?óD1?·oμ?·¢?1?¢?úéy????£?3?¢è??°oó?úò??ê1???ìá1?′?D??ê?ù?°?ê???±μè?£à?′yó??£
?°?üàà±e£o
?í·tר?±/?úàí
1??ü×?£o
?í·t
?ú???í·t
??é??í·t
?ù±¨
·??í