nodejs 30行代碼 爬豆瓣電影數據

##用nodejs 寫爬蟲 關鍵模塊:cheerio、http,request。 consonl.log() 出來的數據

首先安裝相關的模塊:

//我用了某寶的鏡像安裝     原來是  npm,-g 可以根據自己情況是全局按裝還是局域安裝
cnpm install -g jquerycnpm install -g cheeriocnpm install requestcnpm install http
......復制代碼

根據你需要用的的模塊安裝 代碼如下:


// 新建一個對象
var MyUtil = function () {
};
// var $ = require('../node_modules/jQuery');
var request = require('request');
// 用于 保存body的html數據
var bodtTemp;
MyUtil.prototype.get=function(url,callback){// console.log("MyUtil.prototype") // 打印request(url, function (error, response, body) {if (!error && response.statusCode == 200) {// console.log(body) // 打印目標頁面console.log("request ");// 用臨時變量保存起來請求回來的body數據bodtTemp=body;var movie={}  // movie.name = $(body).find('span[property="v:itemreviewed"]').text();// movie.director = $(body).find('#info span:nth-child(1) a').text();}})
}
// console.log(movie);
//獲取目標網頁的數據
var temp = new MyUtil();
var httpUrl='https://movie.douban.com/subject/25921812/?tag=%E7%83%AD%E9%97%A8&from=gaia_video';
// var httpUrl='http://movie.douban.com/subject/1152952';
temp.get(httpUrl);
console.log('bodtTemp is '+bodtTemp);
// 開啟自己的http服務器
var http = require('http')
http.createServer(function(req,res){res.writeHead(200,{'Content-Type':'text/html'});// res.write(bodtTemp);let cheerio = require('cheerio')let $ = cheerio.load(bodtTemp)// $('h2.title').text('Hello there!')// $('h2').addClass('welcome')// $('#db-nav-movie .nav-logo a').text("哈哈")// $("#dale_movie_subject_bottom_super_banner_frame").remove();// 移除  id 里面的內容// $("#footer").remove();console.log($('#info').text());// $.html()// console.log($.html());res.write($.html());// res.end('<p>結束</p>');res.end();
}).listen(5858);復制代碼

保存為index.js 文件,切換到 你的文件路徑,用node 命令打開: 如:

node index.js
復制代碼

瀏覽器打開

http://127.0.0.1:5858/
復制代碼

**記得要打開瀏覽器訪問地址才能看到控制臺的數據。 ###本文為了更好閱讀以及新手可以直接執行,提高新手興趣,故把所有可執行代碼直接放一個文件,詳細以及一些測試也有備注。嘗試去修改一下要爬的鏈接以及代碼吧,一切都是實踐中的出效果。

轉載于:https://juejin.im/post/5a3217baf265da4310486603

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/278851.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/278851.shtml
英文地址,請注明出處:http://en.pswp.cn/news/278851.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

html5結構與表現分離原則,網頁簡單布局之結構與表現原則分享

一般來說html結構 css表現 javascrip行為&#xff0c;網頁布局要考慮到結構&#xff0c;表現&#xff0c;行為分離原則&#xff0c;首先重點放在結構和語義化上面&#xff0c;再考慮CSS&#xff0c;JS等&#xff0c;便于后期維護和分析。結構與表現相關內容簡介html結構 css表現…

如何在Firefox 3中重新啟用about:config警告消息

If you’ve spent any time tweaking Firefox 3, you’ve probably seen the warning message telling you that you probably shouldn’t be changing any settings. Thankfully you can remove the checkbox and make the message go away… but what if you wanted it back?…

iaas層次化結構--從業務需求到設計需求

轉載于:https://www.cnblogs.com/anc-ox/p/10004571.html

清華經管計算機金融專業,非量化背景拿下MIT MFin的清華經管學姐,詳解MIT金融項目優劣和職業方向...

學員背景清華大學 經管學院主要獲錄Offer麻省理工大學金融碩士MIT MFin哥倫比亞大學公共管理碩士Columbia MPA來自清華經管F學姐&#xff0c;以非量化背景成功斬獲MIT金融和哥大MPA項目。她與大家分享了MIT金融項目的特色、優劣勢、錄取信息和未來的職業方向&#xff0c;同時也…

保存頁面供以后使用Firefox的閱讀列表擴展

I spend an enormous amount of time browsing the web looking for new ideas to write about, so one of the biggest problems for me is tagging articles for more careful reading later. Also, I’m sure any moment I’m going to reach a page that says “You’ve re…

使用EHCache需要注意的幾個問題(轉)

最近做一個小項目&#xff0c;需要對一批數據進行緩存&#xff0c;且要求持久化到磁盤。使用ehcache非常簡單和直觀&#xff0c;一般來說只需要配置ehcache.xml文件&#xff0c;接著直接使用Cacheable, Cacheput, CacheEvict即可。 三個注解的意思也很簡單&#xff0c;這里就不…

MySQL的常見存儲引擎介紹與參數設置調優(轉載)

原文地址&#xff1a;http://www.cnblogs.com/demon89/p/8490229.htmlMySQL常用存儲引擎之MyISAM特性&#xff1a;1、并發性與鎖級別2、表損壞修復check table tablenamerepair table tablename3、MyISAM表支持的索引類型①、全文索引②、前綴索引4、MyISAM表支持數據壓縮myisa…

計算機網絡udp實驗時間戳請求報文與應答報文的表格填寫,自考計算機網絡管理歷年(2007.1-2013.1)試題及答案(標有頁碼)...

33.假設某RMON MONTIOR矩陣組的matrixSDTable和matrixDSTable的內容如下表1和表2所示。表1. matrixSDTbalematirxSDSourceAddress matrixSDDestAddress matrixSDPkts m,atrixSDOctests matrixSDError 008000AB1258 00A0C5BA9C02 1274 1697133 11 ……………表2. matrixDSTablem…

如何在Twitter上阻止令人討厭的“今日熱門新聞@yourname”垃圾郵件

Lately I’ve noticed an annoying trend on Twitter—people constantly spamming your replies feed with these posts saying that you were the top story on somebody’s feed. Very irritating, but here’s how to get rid of it. 最近&#xff0c;我注意到Twitter上有一…

蕾絲的選購和保養秘訣

維秘柔情內褲性感/舒適/健康/透氣 復制代碼 維秘柔情不僅僅是商品質材料和考究的設計&#xff0c;更是一個堅守生活美學的理念&#xff0c;總有一款維秘柔情告訴你的身體密碼。從此之前所用&#xff0c;皆為將就。從此之前所見&#xff0c;皆為平常。 在內褲不再是遮掩的這個時…

Python -bs4介紹

https://cuiqingcai.com/1319.html Python -BS4詳細介紹Python 在處理html方面有很多的優勢,一般情況下是要先學習正則表達式的.在應用過程中有很多模塊是非常方便的,先嘗試使用BeautifulSoup和Urllib進行網頁的處理,僅供學習.首先列舉所需要導入的模塊:from bs4 import Beauti…

廣東工業大學計算機學院書記,計算機學院召開2018年工作總結大會

單 位&#xff1a;計算機學院2019年1月8日上午&#xff0c;計算機學院在工學一號館216會議室召開了學年工作總結大會。會議由學院陳平華副院長主持。會上&#xff0c;郭維喜書記對過去一學年學院各項工作給予了肯定&#xff0c;并從黨的建設、意識形態工作、思想宣傳工作、師德…

Numpy的常用方法

NumPy是用Python進行科學計算的基本軟件包。它包含以下內容&#xff1a; 一個強大的N維數組對象復雜的&#xff08;廣播&#xff09;功能用于集成C / C 和Fortran代碼的工具有用的線性代數&#xff0c;傅里葉變換和隨機數能力除了明顯的科學用途外&#xff0c;NumPy還可以用作通…

vista任務欄透明_增加Windows Vista任務欄預覽大小的賞金(付費!)

vista任務欄透明Ever since Windows Vista came out, I’ve been trying to figure out how to increase the size of the tiny Windows Vista taskbar preview windows. I’ve scoured the registry, used process monitor to try and find hidden registry keys, and looked …

Netty原理分析

Netty是一個高性能、異步事件驅動的NIO框架&#xff0c;它提供了對TCP、UDP和文件傳輸的支持&#xff0c;作為一個異步NIO框架&#xff0c;Netty的所有IO操作都是異步非阻塞的&#xff0c;通過Future-Listener機制&#xff0c;用戶可以方便的主動獲取或者通過通知機制獲得IO操作…

福州大學計算機學院董晨老師,福州大學代表隊高分斬獲第三屆福建省高校網絡空間安全大賽冠軍...

新聞中心訊/10月27日&#xff0c;由福建省教育廳、福建省網絡與信息安全協調小組辦公室主辦的“百越杯”第三屆福建省高校網絡空間安全大賽在福州圓滿落幕&#xff0c;福州大學三支代表隊攬獲本屆大賽的冠軍暨特等獎、二等獎和三等獎。本次省賽福州大學派出的代表隊由數學與計算…

用uid分庫,uname上的查詢怎么辦?

2019獨角獸企業重金招聘Python工程師標準>>> 【緣起】 用戶中心是幾乎每一個公司必備的基礎服務&#xff0c;用戶注冊、登錄、信息查詢與修改都離不開用戶中心。 當數據量越來越大時&#xff0c;需要多用戶中心進行水平切分。最常見的水平切分方式&#xff0c;按照u…

python 新聞摘要_每日新聞摘要:運營商承諾他們不再出售您的位置…

python 新聞摘要Last year it was discovered that Verizon, Sprint, AT&T, and T-Mobile were all selling your real-time location data to third-party companies. They offered no oversight of what the companies did with the data whatsoever, and if that’s not…

Jquery中的this是什么類型

var city $("#city"); //這個city是dom還是jq if(city instanceof jQuery) alert(11); else alert(this.tagName); 總結&#xff1a; 1 如果是一個節點的某個事件…

計算機復試比重低的學校,又有985院校發布調劑信息,這個34所降低復試比重!...

原標題&#xff1a;又有985院校發布調劑信息&#xff0c;這個34所降低復試比重&#xff01;01985院校調劑01.清華大學昨天&#xff0c;清華大學發布一則調劑信息&#xff1a;臨床醫學交叉人才培養項目接受調劑。接收調劑專業如下&#xff1a;據其官網介紹&#xff0c;該項目為推…