Python3爬取網頁信息亂碼怎么解決?(更新:已解決)

更新:亂碼問題已經解決了。

將下面代碼中的紅色部分改為下面這樣就不會出現個別職位信息亂碼的情況了。

soup2 = BeautifulSoup(wbdata2, 'html.parser',from_encoding="GBK")

另外:

建立了一個微信公眾號,主要分享軟件視頻教程、文檔筆記、軟件工具和生活DIY等方面。

希望能認識更多志同道合共同進步的朋友。

微信公眾號:cool_book

================================================

大家好,我遇到的問題是這樣的:

問題背景:Python3.4爬取前程無憂招聘信息。
環境:Pycharm ?Python3.4
問題:爬取的多數網頁的招聘信息是正常的,個別網頁出現亂碼,但是我瀏覽器打開亂碼的個別網頁,顯示也是正常的。里面內容是中文的招聘信息。這是為什么呢?終端輸出的正常和摻雜在里面的亂碼招聘信息如下。

#!/usr/bin/env python3
# -*- coding: utf-8
import re
import urllib.request
import bs4
import sys
import json
import csv
import requests
from bs4 import BeautifulSoup
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36','Connection': 'keep-alive',
}def get_index_url(url):wbdata = requests.get(url, headers=header).contentsoup = BeautifulSoup(wbdata, 'html.parser')links=soup.select('html > body > div.dw_wp > div > div.el > p.t1 > span > a')# print(links)for link in links:page_url=link.get('href')print(page_url)wbdata2 = requests.get(page_url, headers=header).contentsoup2 = BeautifulSoup(wbdata2, 'html.parser')#這句導致的有時候亂碼
         #body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > h1name = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div.in > div.cn > h1')[0].textprint(name)jieshao = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tCompany_main > div.tBorderTop_box > div.bmsg.job_msg.inbox')[0].textprint(jieshao)# body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong# gongzi = soup2.select('html > body > div.tCompanyPage > div.tCompany_center.clearfix > div.tHeader.tHjob > div > div.cn > strong')[0].text# print(gongzi)# for name,jieshao in zip(name,jieshao):#     data = {#         'name':name.get_text(),#         'jieshao':jieshao.get_text(),#     }#     print(data)f = open("C:/111.txt", 'a',encoding='utf-8')f.write(name)f.write(',')# f.write(jieshao.strip('/n'))# f.write(gongzi)f.write(',' + "\n")f.close()# for i in range(1, 1):#url = "https://dl.fang.anjuke.com/loupan/all/p" + str(i) + "/"  # 翻頁
url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=230300%2C00&district=000000&funtype=0000&industrytype=00&issuedate=9&providesalary=99&keywordtype=2&curr_page="+str(1)
get_index_url(url)# print(i)


======================終端輸出================
C:\Python34\python.exe C:/Users/Administrator/PycharmProjects/untitled/test.py
http://jobs.51job.com/dalian-zsq/94580637.html?s=01&t=0




http://jobs.51job.com/dalian/94579847.html?s=01&t=0
物業顧問


職位描述:
1、負責業主的房屋的租售。2、為業主辦理相關房屋出租及銷售手續。3、物業一般性工作。要求:1、熟悉房地產交易市場關于房屋出租及銷售相關流程和需要的材料。 ? ? ? ? ? ? 2、***。



職能類別:
物業管理專員/助理




關鍵字:
物業服務




舉報
分享


[color=#FF0000]
http://jobs.51job.com/dalian-zsq/74735018.html?s=01&t=0
é?ó°?D??é?ó°ê|


?°???èê?£o
è??°òa?ó£oè?1??ú?aòμ?ú??ó¢£?é?ó°??ê?3?èo£?íˉ?????á?a?úìá1?àí??μ?D?×ê′yó?£?ìá1???óDìì?¨°?μ??èì¨?£1¤×÷ê±??£o??9:00íí18:00D?×ê′yó?£oμ×D?+ìá3飨5000-10000?a£?£?è??ú?±£??a·??±1¤2í£???íí°à3μ



?°?üàà±e£o
é?ó°ê|/é???ê|
oó?ú??×÷




1??ü×?£o
é?ó°
????
PS
êy??
oó?úDT??
DTí?ê|
èí?t
oó?ú
ó°êó




?ù±¨
·??í[/color]




http://jobs.51job.com/dalian-zsq/91039157.html?s=01&t=0
平面設計師


職位描述:
1、工作內容1)對集團企業的VI(企業視覺識別)、AI(企業聽覺識別)、EI(企業環境識別)等基本要素設計,進行構思設計實施;2)各種廣告、海報、紙媒的設計、排版制作;3)按照各活動時間完成制作,并保證設計質量;4)對項目各類宣傳品的設計、排版制作;5)完成新新項目與市場拓展中的宣傳廣告設計制作;6)大型活動的宣傳品制作、公司統一形象的文字書寫;7)負責與廣告公司、印刷公司的電子文檔的往來、制作完成后的賬務數量確認;8)跟蹤制作數量,結賬金額,并上報企劃經理審核;9)對項目宣傳品發放的落實追蹤、改進措施;10)大型活動贈品的購買、送達、跟蹤;11)負責項目的裝飾、廣告設計、渲染節慶活動現場的氣氛布置;12)負責企劃部對外所有票據核對、清查、票據記錄完整;13)協助設計紙媒完成公司企劃工作;14)協助完成宣傳設備設施的每月盤點;15)完成本部門的其他工作;2、工作權限:1)對各種廣告的設計建議權;2)對本部門工作有參與權和建議權;3)項目企劃工作的監督、檢核權;4)廣告印刷品的監督權,以免造成浪費;5)對合作的廣告公司、印刷公司有建議、監督權;3、工作責任:1)遵守公司制度匯編;2)因工作失誤,導致出現不良后果,造成經濟損失承擔直接責任;3)對項目員工有企劃業務知識培訓的責任;4)賬務錯誤承擔主要責任;4、人員配置1)1人,主管級2)人員素質及上崗條件a.***,25~38歲,專科以上學歷;b.頭腦靈活,具有很強的創新精神,了解項目行業;c.活潑開朗,有團隊合作意識,責任心強;d.熟練使用辦公軟件、平面設計軟件;聯系電話:13998523555 ?丁***



職能類別:
平面設計經理/主管




舉報
分享




http://jobs.51job.com/dalian-gjzq/94581554.html?s=01&t=0
電子商務助理/專員


職位描述:
崗位職責:1.對電商類工作感興趣;2.好學,細心,有良好的邏輯思維能力;3.工作認真,可以從實習生做起任職要求:1.能夠盡快入職,工作認真努力;2.能夠很好地完成領導分配的任務;3.可以從實習生做起4.年齡18-30歲



職能類別:
電子商務專員




舉報
分享




http://jobs.51job.com/dalian/94581216.html?s=01&t=0
企劃專員


職位描述:
熟練使用Photoshop等軟件。有一定文字功底。工作時間8:30-17:30




職能類別:
平面設計師
其他




舉報
分享




http://jobs.51job.com/dalian-gxyq/94473367.html?s=01&t=0
銷售代表


職位描述:
崗位職責:1. 對來訪咨詢者接待:全面、準確、有針對性的做好咨詢工作,幫助咨詢者了解其想了解的信息為起選擇培訓課程做參考;;2. 持續穩定地實現個人銷售目標;3. 通過團隊合作實現由中心總監設定的銷售目標,與同事和學員建立密切的關系,以達成銷售和服務目標;4. 參加銷售培訓并做業務陳述,以便為潛在客戶設計合適的課程,并按時完成個人目標;5. 完善課程顧問的學員跟進數據庫,確保達成學習目標;6. 按時分析個人表現,開發個人和企業客戶;7. 參加例會和銷售培訓,確保完成每日銷售報告。任職要求:1. 大專以上學歷,1年及以上直接銷售經驗(有B2C銷售經驗優先)和/或客戶服務經驗;2. 熱愛銷售,愿意挑戰高薪;3. 強烈的團隊精神和出色的溝通能力;4. 強烈的責任感與客戶服務意識(可接受靈活的工作時間安排);5. 有IT知識背景者優先考慮;6、優秀應屆畢業生也可考慮;備注:1、每個月不定期小型聚會,元旦元宵、五一、端午節、中秋、元旦PARTY、年終尾牙、春節紅包等福利;不定期團建;小禮品;2、綠植化式辦公環境優雅舒適、純凈水飲水機、中央空調。配有各自辦公桌電腦、單線座機;3、季度調薪;能力提升、根據個人能力管理崗位發展;4、晉升機制:初級咨詢師-中級咨詢師-高級咨詢師-咨詢組長-咨詢經理-咨詢總監5、社會福利:入職繳納五險一金;只要你有能力;我們給你足夠的平臺!上市公司期待您的加入!!歡迎您投遞簡歷!!!承諾必答,使命必兌!!



職能類別:
銷售代表




舉報
分享




http://jobs.51job.com/dalian-gxyq/94473843.html?s=01&t=0
車間現場管理/調度/副主任/五險一金/周末雙休


職位描述:
1.負責車間管理工作,完成公司下達的各項生產任務,并做好每月生產報表及各項統計;負責生產計劃落實,物料準備,新產品導入準備;2.規劃分配車間工作,監督車間工人的工作質量、工作進度;3.建立健全并落實車間各項規章制度,及時有效地處理車間發生的設備、質量、安全等故障及事故,并及時向上級主管匯報;4.提出改進工藝流程、生產設備、生產環境等方面的建議;任職要求:1、5年以上食品車間管理經驗2、45歲以內3、具備生產管理能力,具備較強的質量意識4、具有作業現場人員管理能力,有較強的團隊領導力和帶動力,能很好的分析問題和解決問題



職能類別:
生產經理/車間主任
生產主管




關鍵字:
車間現場管理
調度
副主任




舉報
分享




http://jobs.51job.com/dalian/71593713.html?s=01&t=0
總經理助理(外協專員)


職位描述:
職位描述:1、配合辦公室及工程部做公司及工程相關的外聯工作;2、主持制定和執行公關計劃,配合公司對外項目各公關活動;3、協助辦公室處理與各部門溝通合作事宜;4、完成領導交給的其它任務。任職資格:1、有行業2年以上工作經驗,有法務工作背景優先;2、法學、經濟法等相關專業,本科以上學歷;3、工作細致、認真負責、敬業;4、具備獨立的工作能力和團隊精神;5、形象好,氣質佳 。




職能類別:
公關專員




關鍵字:
公關




舉報
分享




http://jobs.51job.com/dalian-gjzq/86175733.html?s=01&t=0
數控車工


職位描述:
任職要求:1.數控專業中專或職高及以上學歷,受過數控操作等方面的培訓。2.2年以上本崗位工作經驗。3.具備生產加工方面的知識,熟悉數控機床操作,具有獨立編制加工程序的知識和識圖能力。4.




職能類別:
數控編程




關鍵字:
數控
編程




舉報
分享




http://jobs.51job.com/dalian/94580792.html?s=01&t=0
消防主管


職位描述:
1、消防主管在部門經理的領導下進行工作,其工作對部門經理負責。  2、認真貫徹《消防法》,在消防安全委員會及本部門經理的領導下,負責公司所轄區域的消防安全工作。  3、檢查消防中控人員的工作情況。  4、對工作中存在的問題進行研究,提出解決辦法,并向部門經理匯報。  5、負責消防的管理工作,制定工作計劃,做消防工作年終總結和工作考核,負責消防人員的思想教育及培訓。  6、定期對公司所轄區域的消防設施、設備、器材進行檢查和維修保養。  7、制定并落實消防安防工作的制度、規定、計劃。  8、定期對全體員工及新入職員工進行消防常識和專業技能宣傳、教育培訓。  9、負責對本部門消防人員進行績效評定;  10、制定施工防火安全制度、協議書,并對施工現場進行安全巡視檢查、發現問題,及時整改。  11、定期對辦公區域和重點部位進行防火安全檢查,發現隱患,及時解決。  12、每天對消防中控室進行巡視檢查,及時糾正違紀現象。  13、參加每周部門例會,匯報一周工作及下周工作安排。任職資格: ? ? 1、年齡25-40歲。 ? ? 2、健康狀況良好,吐字清晰,普通話流利,語速正常。 ? ? 3、學歷要求:大專以上學歷。 ? ? 4、專業背景要求:有消防構建證,掌握消防知識、法規。 ? ? 5、計算機水平:熟練操作windows、Office等各類辦公軟件。 ? ? 6、良好的語言表達能力和文字能力,具備一定的公文寫作及方案整合能力。 ? ? 7、有一定的業務培訓能力。



職能類別:
物業管理主管




舉報
分享




http://jobs.51job.com/dalian-zsq/83851564.html?s=01&t=0
?D???í·t£¨??é?£?


?°???èê?£o
í?μY?òàú?°£???×D?????áò???1¤×÷ê±??£?2??óêüé?°àê±??£????eí?μY?£??°à£o9:00--18:00£?íí°à£o14:30--23:30£¨òa?ó?ú1???é?°à£???°à′ò3μ???ò£?1???ê챨êμ?ú′ò3μ·?ó?£?£?DY?¢ê±??£o???ü??DY£?μ?ê?2??ü±£?¤???ú?ü??DY?¢£?′?DY?£?ú???°?e£o1?¢?÷òaí¨1y??é??a′eoíμ??°1μí¨μ?·?ê?à′?a′e1ú?ú?í?§μ?×é?ˉ£?2¢???í?§μ??êìa?°ê±×?3???′eoí·′à?£?2?¢????òaμ??ˉì?D??¢?°ê±í¨?a?á?±£?2¢??μ??¢D-?ú?á?±??DDí????à1?μ?2ù×÷£?3?¢êìá·2ù×÷1???í????àá¢oó쨣??°ê±′|àí??DD?Dμ?°??t£?4?¢?íD?óè1??í?ê??μ?·t??£????ó?í?§μ??úòa?è£????¤?í?§1??μ?£?°??òa?ó£o1?¢??í¨?°±ê×?£??ú3Y???ú£?2?¢??óD?íD?oí?eè?D?£???óDí??óo?×÷òaê?£?3?¢???????Y?¢á?o?μ?·t??òaê?£?μ???2ù×÷êìá·£?4?¢?Dר?°ò?é??§àú?£?£à?′yó?£o1?¢1???ìá1?íêé?μ?D?×ê?¢????ò??eμè?£à?′yó?£?2?¢1????¨?úìá1?ó???μ??±1¤?±à?·?ê?£??üá|ó?D???£?óD1?·oμ?·¢?1?¢?úéy????£?3?¢è??°oó?úò??ê1???ìá1?′?D??ê?ù?°?ê???±μè?£à?′yó??£



?°?üàà±e£o
?í·tר?±/?úàí




1??ü×?£o
?í·t
?ú???í·t
??é??í·t




?ù±¨
·??í

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/257377.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/257377.shtml
英文地址,請注明出處:http://en.pswp.cn/news/257377.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

洗衣機洗滌部分c語言程序,51單片機洗衣機控制板及C語言程序

51單片機洗衣機控制板及C語言程序,該控制板單片機采用AT89C51單片機,所設計全自動洗衣機功能有:標準洗衣、經濟洗衣、單獨洗衣以及排水四種洗衣等四種方式,有強洗、弱洗及運行/暫停、顯示及報警功能,程序利用利用Protues仿真軟件觀…

數據存儲

一、NSCoding &#xff1a; 使用NSCoding需要遵守<NSCoding> 保存&#xff1a; /** * 將某個對象寫入文件時會調用 * 在這個方法中說清楚哪些屬性需要存儲 */ MJStudent.m - (void)encodeWithCoder:(NSCoder *)encoder { [encoder encodeObject:self.no forKey:"…

犯人釋放的C語言程序,C語言的自動關機程序和一個用來整人的小程序

可以用C語言中的system()函數來實現系統的自動關機程序&#xff0c;可以設置多長時間后將自動關機。當然馬上關機也是可以的&#xff0c;我們就可以惡搞別人計算機了(你事先得知道怎么解)&#xff0c;將寫好的自動關機程序復制到別人電腦&#xff0c;然后將可執行的文件設為開機…

[mysql] linux下使用yum安裝mysql

From: http://www.2cto.com/database/201207/141878.html linux下使用yum安裝mysql1、安裝查看有沒有安裝過&#xff1a;yum list installed mysql*rpm -qa | grep mysql*查看有沒有安裝包&#xff1a;yum list mysql*安裝mysql客戶端&#xff1a;yum install mysql安裝mysql 服…

圖解MapReduceMapReduce整體流程圖

1.圖解MapReduceMapReduce整體流程圖 并行讀取文本中的內容&#xff0c;然后進行MapReduce操作 Map過程&#xff1a;并行讀取三行&#xff0c;對讀取的單詞進行map操作&#xff0c;每個詞都以<key,value>形式生成 reduce操作是對map的結果進行排序&#xff0c;合并&#…

阿里云推出CloudDBA,解決數據庫性能優化和問題診斷難題

問題診斷(trouble shooting) 和 性能優化(performance tunning) 一直都是數據庫領域的專業問題&#xff0c;需要資深DBA的專業技能才能勝任解決&#xff0c;但這樣的人才是稀缺的&#xff0c;無法及時滿足大部分的企業緊急需求。如果有一款產品能夠在大多數情況下&#xff0c;用…

c語言程序設計學生信息管理系統代碼,c語言程序設計學生成績管理系統源代碼.pdf...

c語言程序設計 學 生 成 績 管 理 系 統 源代碼#include#include#include#include#define MAX 80int a;typedef struct /*定義結構體數組*/{ char num[10];char name[20];int score;} Student;Student stu[MAX];int menu_select(){char c;do{system("cls");/*清屏*/p…

初探ArrayList之刪除

1.返回刪除元素的刪除方法 public E remove(int index) {rangeCheck(index);modCount;//記錄修改次數的變量E oldValue elementData(index);//根據數組下標拿到指定元素int numMoved size - index - 1;//計算移動位數if (numMoved > 0)System.arraycopy(elementData, inde…

UESTC_秋實大哥與花 2015 UESTC Training for Data StructuresProblem B

B - 秋實大哥與花 Time Limit: 3000/1000MS (Java/Others) Memory Limit: 65535/65535KB (Java/Others) Submit Status秋實大哥是一個儒雅之人&#xff0c;晝聽笙歌夜醉眠&#xff0c;若非月下即花前。 所以秋實大哥精心照料了很多花朵。現在所有的花朵排成了一行&#xff…

java的三大特性,封裝,繼承,多態

封裝 Java代碼 /** * 所謂封裝&#xff0c;就是將對象具有的成員變量和成員函數包裝和隱藏起來&#xff0c;讓外界無法直接使用&#xff0c; * 被封裝的成員只能通過某些特定的方式才能訪問。 * 實現封裝有兩個步驟&#xff1a; * 1、將不能暴露的成員隱藏起來&#x…

銀行家算法實驗報告c語言版,銀行家算法實驗報告C語言版.doc

《操作系統》課程綜合性實驗報告姓名&#xff1a; 學號&#xff1a; 2016 年 11 月 20 日實驗題目進程調度算法程序設計一、實驗目的通過對安全性算法和銀行家算法的模擬&#xff0c;進一步理解資源分配的基本概念&#xff0c;加深對資源申請&#xff0c;資源分配(銀行家算法)以…

GetModuleHandle(NULL)獲取當前DLL模塊基址?

做一項目想在DLL內部代碼實現獲取本DLL的模塊基址&#xff0c;而且不知道本DLL名稱 最簡單的方法是想到GetModuleHandle(NULL)&#xff0c;是否可以呢? 參看http://blog.csdn.net/guzhou_diaoke/article/details/8826558到的答案是否 自己嘗試了一下: DLL代碼(testDll): BOOL …

DataTable是否存在某個列的判斷

使用 DataTable.Columns.Contains方法可以判斷某個列名是否存在于某個DataTable中 //添加模擬數據 DataTable t new DataTable(); DataColumn col new DataColumn("aaa"); t.Columns.Add(col); col new DataColumn("bbb"); t.Columns.Add(col); col ne…

【評分】第三次作業-團隊展示

【評分】第三次作業-團隊展示 總結 【2017-10-10】更新&#xff1a; 分數映射至 [1,2] 分 【注意】&#xff1a; 為了保護大家隱私&#xff0c;以后發表博客&#xff1a; 涉及到學號時&#xff0c;僅提供后三位涉及到姓名時&#xff0c;僅提供名&#xff08;省略姓&#xff09;…

c語言變量為什么要定義,C語言為什么要規定對所用到的變量要“先定義,后使用”...

該樓層疑似違規已被系統折疊 隱藏此樓查看此樓int a10;以上一句話對變量a進行了聲明&#xff0c;定義以及初始化extern int a;以上一句話僅僅對變量a進行了聲明&#xff0c;將a的鏈接屬性設置為externalint *p;以上定義了一個指針int a10;int *p;p&a;以上為指針變量進行了賦…

iOS 開發--github的demo

令人驚訝的是&#xff0c;YYText 雖然代碼量很大&#xff08;超過一萬行&#xff09;&#xff0c;但它只是 ibireme 的作品之一。ibireme 利用業余時間完成了 YYKit 工具庫&#xff0c;包括&#xff1a; YYModel — 高性能的 iOS JSON 模型框架。 YYCache — 高性能的 iOS 緩存…

RabbitMQ快速安裝配置指南

RabbitMQ快速安裝配置指南 官網的安裝教程由于需要解釋原理很多廢話&#xff0c;這里總結一下在CentOS7環境下的安裝配置過程。如需理解原理&#xff0c;請看官網原文的安裝指南或翻譯1. 安裝RabbitMQ server ## 安裝epel源 yum install -y epel-release## 安裝Erlang yum inst…

[轉]基于Starling移動項目開發準備工作

最近自己趁業余時間做的flash小游戲已經開發得差不多了&#xff0c;準備再完善下ui及數值后&#xff0c;投放到國外flash游戲站。期間也萌生想法&#xff0c;想把游戲拓展到手機平臺。這兩天嘗試了下&#xff0c;除去要接入ane接口的工作&#xff0c;小游戲本身不用做任何改動就…

c語言float輸出分數,c語言同一題目求解結果用float和int輸出值差1.

c語言同一題目求解結果用float和int輸出值差1.答案:3 信息版本&#xff1a;手機版解決時間 2018-12-08 22:35已解決2018-12-08 05:38c語言同一題目求解結果用float和int輸出值差1.最佳答案2018-12-08 06:01試試這樣就好了#include main(){long i;float j,j1,j2,j4,j6,j10;j110…

《構建之法》閱讀筆記02

今天我閱讀了《構建之法》4-6章。有許多的感悟。 以前編程序總喜歡亂命名變量&#xff0c;覺得自己看的懂就行了。但讀完構建之法第四章。我知道了程序是給別人看的&#xff0c;然后那只是程序比較簡單而已。如果一個程序過于龐大&#xff0c;而變量的命名有沒有實際的意義&…