thinkcmf 橫向排列數據_利用python進行數據分析之數據清洗規整

1.處理缺失值數據

使用dropna()時,注意里面參數axis、how、thresh的用法

使用fillna()時,注意里面參數value、method、inplace、limit的用法

6dcd5ede238fd8f043864ae955b06b00.png

2.數據轉換

去重

data.drop_duplicates(keep='last')#注意keep的用法

映射

map()針對的是一維數組series,后面跟函數表示對整個一維數組執行的操作

apply()在針對一維數組時作用與map相同,在針對DataFrame數組時是對某一行或某一列進行操作,輸出的是一列或一行的結果

applymap()是針對DataFrame的整個數據的操作

替換值

replace()

重命名軸索引

rename()注意rename對列名的修改,后面跟上字典實現

astype()轉換數據類型

離散化和面元劃分

cats=pd.cut(data,bins,right=False,labels=name)#按照bins里面的區間,把data數據集里面的數據劃分到不同的區間,實現離散化,right修改閉端位置
pd.cut(data,4,precision=2)#傳入數字則根據數據分位數進行幾等分,precision保留小數個數
pd.value_counts(cats)#劃分結果計數
pd.qcut()

檢測和過濾異常值

data.describe()#數據現行,無處可逃
data[2][np.abs(data[2])>3]#選出2這一列中絕對值大于3的數
data[(np.abs(data)>3).any(1)]#選出絕對值大于3的數所在的行
np.sign(data)#根據數值的正負生成1或-1

排列和隨機采樣

sampler=np.random.permutation(5)
df.take(sampler)
#實現對df的重新排列,相當于按軸索引隨機排列

計算指標、啞變量

get_dummies()#沒看太懂,研究中

3.字符串的操作

val.split(',')#把字符串val按‘,’分成數段
pieces=[x.strip() for x in val.split(',')]#可去除空格和換行
'::'.join(pieces)#拼接
val.index('a')     val.find('a')#查找字符串
val.count('a')#統計出現次數
val.replace()#替換

e3946d9e5015153cb1015ad569d9616d.png

還有一些關于正則表達式的方法

3940b2640572303835b6c7f6ec448eca.png

矢量化字符串的方法

6ec0206dd85161d8a19415d65cabb5d5.png

4.連接數據

橫向連接

pd.mager(data1,data2,on='key',how='left')#jion也可以實現

f550f76a20ef4ae38262900ca5fff99a.png

軸向連接

pd.concat()

33ddb7ce1dd58e210295cd3552cbc769.png

5.重塑

stack:將數據的列旋轉成行

unstack:將數據的行旋轉成列

pivot與melt也互為相反操作,作用類似

6.時間序列

0c69e3c9185aab93bc6ab9330918bd93.png

datetime.strptime可以?這些格式化編碼將字符串轉換為?期:

2d0ee637f3a7f16bed4fcf9d395947f9.png

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/394288.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/394288.shtml
英文地址,請注明出處:http://en.pswp.cn/news/394288.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

v$asm_diskgroup中state的說明

1.使用oracle賬號連接數據庫,查看v$asm_diskgroup 2.使用grid賬號連接ASM實例,查看v$asm_diskgroup 3.官方v$asm_diskgroup關于state的解釋 https://docs.oracle.com/en/database/oracle/oracle-database/19/refrn/V-ASM_DISKGROUP.html#GUID-5CF77719-7…

AutoMapper的介紹與使用(二)

AutoMapper的匹配 1,智能匹配 AutoMapper能夠自動識別和匹配大部分對象屬性: 如果源類和目標類的屬性名稱相同,直接匹配,不區分大小寫目標類型的CustomerName可以匹配源類型的Customer.Name目標類型的Total可以匹配源類型的GetTotal()方法…

站長快訊 WordPress跨站攻擊漏洞修補

WordPress中發現一些漏洞,攻擊者利用該漏洞可以發起跨站腳本攻擊,繞過WordPress安全性限制,獲取較為敏感的修訂歷史記錄的信息,或者綁架站點以用于DDoS攻擊。 CVE ID CVE-2015-8834 CVE-2016-5832 CVE-2016-5834 CVE-2016-5835 C…

暢通無阻的公式:乘員組從幾乎破產變成了吸引500萬游客的方式

How could you go from almost no traction and running out of money, to getting millions of visitors to your website?您怎么能從幾乎沒有牽引力和資金用盡的角度,如何吸引數百萬的網站訪問者? You could do like Crew accidentally did with Uns…

leetcode1302. 層數最深葉子節點的和(深度優先搜索)

給你一棵二叉樹,請你返回層數最深的葉子節點的和。 代碼 class Solution {int[] depthnew int[]{Integer.MIN_VALUE,0};//記錄最深層數和對應的和public int deepestLeavesSum(TreeNode root) {if(rootnull) return 0;deep(root,0);return depth[1];}public void d…

Python筆記 【無序】 【五】

描述符 將某種特殊類型的類【只要實現了以下或其中一個】的實例指派給另一個類的屬性 1.__get__(self,instance,owner)//訪問屬性,返回屬性的值 2.__set__(self,instance,value)//將在屬性分配【即賦值】中調用,不返回任何內容 3.__delete__(…

化工圖紙中LISP_化工設備廠參展模型設計制作

最近這個案子是受某化工設備企業委托做四套設備模型 用來參加展會在模型制作過程中,這類案例經常遇到。但是客戶所提供的CAD圖紙,往往是實物尺寸在進行縮放的過程中常會造成過薄和過于精細的情況出現眼下技術小哥就遇到這類情況讓我們先看看客戶提供的C…

社交大佬們的數據“大”在哪里?

文章講的是社交大佬們的數據“大”在哪里,“別說忙,沒工夫看書,你那刷FB/朋友圈的工夫騰出來,保證每周啃下一本”,小編身邊總充斥著這樣的“訓話”。 額,奈何我每天的工作離不開從社交媒體中獲取信息&#…

微信支付JsAPI

https://pay.weixin.qq.com/wiki/doc/api/download/WxpayAPI_php_v3.zip 下載獲取微信支付demo壓縮包打開壓縮包,并將其中 WxpayAPI_php_v3\example下的 jsapi.php log.php WxPay.JsApiPay.php WxPay.MicroPay.php WxPay.NativePay.php 解壓縮到根目錄 tellingtent/…

mysql 多數據源訪問_通過Spring Boot配置動態數據源訪問多個數據庫的實現代碼

之前寫過一篇博客《SpringMybatisMysql搭建分布式數據庫訪問框架》描述如何通過SpringMybatis配置動態數據源訪問多個數據庫。但是之前的方案有一些限制(原博客中也描述了):只適用于數據庫數量不多且固定的情況。針對數據庫動態增加的情況無能為力。下面講的方案能支…

我如何將Google I / O 2018的興奮帶給尼日利亞沃里的115個人

Google Developer Group Warri的第一個I / O擴展事件的故事 (A tale of Google Developer Group Warri’s first I/O Extended event) Google I/O is one of the largest developer festivals in the tech ecosystem. I am the lead organizer for the Google Developer Group …

菜鳥postman接口測試_postman 接口測試(轉)

本文轉載自testerhome;作者:xinxi1990 ;原文鏈接:https://testerhome.com/topics/18719;轉載以分享知識為目的,著作權歸原作者所有,如有侵權,請聯系刪除。postman使用創建用例集啟動…

求絕對值最小的數

題目 有一個升序排列的數組&#xff0c;數組中可能有正數&#xff0c;負數或0. 求數組中元素的絕對值最小的數. 例如 數組{-10&#xff0c; 05&#xff0c; 02 &#xff0c;7&#xff0c;15&#xff0c;50} 絕對值最小的是-2 解答 #include <bits/stdc.h> using namespac…

leetcode面試題 04.02. 最小高度樹(深度優先搜索)

給定一個有序整數數組&#xff0c;元素各不相同且按升序排列&#xff0c;編寫一個算法&#xff0c;創建一棵高度最小的二叉搜索樹。 public TreeNode sortedArrayToBST(int[] nums) {if(nums.length0) return null;return BST(nums,0,nums.length-1);}public TreeNode BST(int[…

IT團隊如何贏得尊重?

本文講的是IT團隊如何贏得尊重,在傳統觀念中&#xff0c;作為企業的IT人&#xff0c;似乎都有一種揮之不去的消極情緒&#xff1a;能夠為企業帶來直接利益的業務部門才是企業核心&#xff0c;而作為技術支撐的IT部門&#xff0c;則是作為附屬而存在。 我們經常也會聽到一些企業…

mysql 官方鏡像_運行官方mysql 鏡像

//目前最新的為mysql 8sudo docker run -itd --restart unless-stopped --nethost --name mysql -p3306:3306 -e MYSQL_ROOT_PASSWORDroot mysqlmysql 官方docker 需要重新設置密碼&#xff0c;否則無法遠程連接step1 : docker exec -it [容器id] /bin/bashstep2 : 登陸mysql &…

我如何使用React,Redux-Saga和Styled Components構建NBA球員資料獲取器

by Jonathan Puc喬納森普克(Jonathan Puc) 我如何使用React&#xff0c;Redux-Saga和Styled Components構建NBA球員資料獲取器 (How I built an NBA player profile fetcher with React, Redux-Saga, and Styled Components) Hello, all! It’s been a while since I built so…

vb 數組屬性_VB中菜單編輯器的使用講解及實際應用

大家好&#xff0c;今天我們共同來學習VB中菜單方面的知識。VB中菜單的基本作用有兩個&#xff1a;1、提供人機對話的界面&#xff0c;以便讓使用者選擇應用系統的各種功能&#xff1b;2、管理應用系統&#xff0c;控制各種功能模塊的運行。在實際應用中&#xff0c;菜單可分為…

《JAVA程序設計》_第七周學習總結

一、學習內容 1.String類——8,1知識 Java專門提供了用來處理字符序列的String類。String類在java.lang包中&#xff0c;由于java.lang包中的類被默認引入&#xff0c;因此程序可以直接使用String類。需要注意的是Java把String類聲明為final類&#xff0c;因此用戶不能擴展Stri…

leetcode109. 有序鏈表轉換二叉搜索樹(深度優先搜索/快慢指針)

給定一個單鏈表&#xff0c;其中的元素按升序排序&#xff0c;將其轉換為高度平衡的二叉搜索樹。 本題中&#xff0c;一個高度平衡二叉樹是指一個二叉樹每個節點 的左右兩個子樹的高度差的絕對值不超過 1。 解題思路 先將鏈表轉換成數組&#xff0c;再構造二叉搜索樹 代碼 …