前言
輸入一個手機號18333333333,你是怎么知道這串數字是手機號呢,假如現在你用python寫一段代碼,類似:
phone_number = input('please input your phone number:')
你怎么判斷這個phone_number是合法的呢?根據手機號碼一共11位并且是只以13、14、15、18開頭的數字這些特點,我們用python寫了如下代碼:
while True:phone_number = input('please input your phone number : ')if len(phone_number) == 11 \and phone_number.isdigit()\and (phone_number.startswith('13') \or phone_number.startswith('14') \or phone_number.startswith('15') \or phone_number.startswith('18')):print('是合法的手機號碼')else:print('不是合法的手機號碼')
現在換一種寫法:
import re
phone_number = input('please input your phone number : ')
if re.match('^(13|14|15|18)[0-9]{9}$',phone_number):print('是合法的手機號碼')
else:print('不是合法的手機號碼')
上面就是今天我們要學習python里的?re模塊和正則表達式。
正則表達式不僅在python領域,在整個編程屆都占有舉足輕重的地位。不管以后你是不是去做python開發,只要你是一個程序員就應該了解正則表達式的基本使用。如果未來你要在爬蟲領域發展,你就更應該好好學習這方面的知識。但是 re模塊本質上和正則表達式沒有一毛錢的關系。re模塊和正則表達式的關系 類似于 time模塊和時間的關系,他只是正則表達式在python中的實現。正則表達式本身也和python沒有什么關系,就是匹配字符串內容的一種規則。
官方定義:正則表達式是對字符串操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個“規則字符串”,這個“規則字符串”用來表達對字符串的一種過濾邏輯。
正則表達式
在線測試工具?http://tool.chinaz.com/regex/
談到正則,就只和字符串相關了。在提供的工具中,你輸入的每一個字都是一個字符串。 其次,如果在一個位置的一個值,不會出現什么變化,那么是不需要規則的。比如你要用”1″去匹配”1″,或者用”2″去匹配”2″,直接就可以匹配上。這連python的字符串操作都可以輕松做到。 那么在之后我們更多要考慮的是在同一個位置上可以出現的字符的范圍。
字符組 : [字符組] 在同一個位置可能出現的各種字符組成了一個字符組,在正則表達式中用[]表示 字符分為很多類,比如數字、字母、標點等等。 假如你現在要求一個位置"只能出現一個數字",那么這個位置上的字符只能是0、1、2...9這10個數之一。
正則 | 待匹配字符 | 匹配結果 | 說明 |
[0123456789] | 8 | True | 在一個字符組里枚舉合法的所有字符,字符組里的任意一個字符 和”待匹配字符”相同都視為可以匹配 |
[0123456789] | a | False | 由于字符組中沒有”a”字符,所以不能匹配 |
[0-9] | 7 | True | 也可以用-表示范圍,[0-9]就和[0123456789]是一個意思 |
[a-z] | s | True | 同樣的如果要匹配所有的小寫字母,直接用[a-z]就可以表示 |
[A-Z] | B | True | [A-Z]就表示所有的大寫字母 |
[0-9a-fA-F] | e | True | 可以匹配數字,大小寫形式的a~f,用來驗證十六進制字符 |
字符:
?元字符 | ?匹配內容 |
. | 匹配除換行符以外的任意字符 |
\w | 匹配字母或數字或下劃線 |
\s | 匹配任意的空白符 |
\d | 匹配數字 |
\n | 匹配一個換行符 |
\t | 匹配一個制表符 |
\b | 匹配一個單詞的結尾 |
^ | 匹配字符串的開始 |
$ | 匹配字符串的結尾 |
\W | 匹配非字母或數字或下劃線 |
\D | 匹配非數字 |
\S | 匹配非空白符 |
a|b | 匹配字符a或字符b |
() | 匹配括號內的表達式,也表示一個組 |
[…] | 匹配字符組中的字符 |
[^…] | 匹配除了字符組中字符的所有字符 |
量詞:
量詞 | 用法說明 |
* | 重復零次或更多次 |
+ | 重復一次或更多次 |
? | 重復零次或一次 |
{n} | 重復n次 |
{n,} | 重復n次或更多次 |
{n,m} | 重復n到m次 |
. ^ $
正則 | 待匹配字符 | 匹配結果 | 說明 |
海. | 海燕海嬌海東 | 海燕海嬌海東 | 匹配所有”海.”的字符 |
^海. | 海燕海嬌海東 | 海燕 | 只從開頭匹配”海.” |
? 海.$ | ? 海燕海嬌海東 | 海東 | 只匹配結尾的”海.$” |
* + ? { }
正則 | 待匹配字符 | 匹配結果 | 說明 |
李.? | 李杰和李蓮英和李二棍子 | 李杰 李蓮 李二 | ?表示重復零次或一次,即只匹配”李”后面一個任意字符 |
李.* | 李杰和李蓮英和李二棍子 | 李杰和李蓮英和李二棍子 | *表示重復零次或多次,即匹配”李”后面0或多個任意字符 |
李.+ | 李杰和李蓮英和李二棍子 | 李杰和李蓮英和李二棍子 | +表示重復一次或多次,即只匹配”李”后面1個或多個任意字符 |
李.{1,2} | 李杰和李蓮英和李二棍子 | 李杰和 李蓮英 李二棍 | {1,2}匹配1到2次任意字符 |
注意:前面的*,+,?等都是貪婪匹配,也就是盡可能匹配,后面加?號使其變成惰性匹配
正則 | 待匹配字符 | 匹配結果 | 說明 |
李.*? | 李杰和李蓮英和李二棍子 | 李 李 李 | 惰性匹配 |
字符集[][^]
正則 | 待匹配字符 | 匹配結果 | 說明 |
李[杰蓮英二棍子]* | 李杰和李蓮英和李二棍子 | 李杰 李蓮英 李二棍子 | 表示匹配”李”字后面[杰蓮英二棍子]的字符任意次 |
李[^和]* | 李杰和李蓮英和李二棍子 | 李杰 李蓮英 李二棍子 | 表示匹配一個不是”和”的字符任意次 |
[\d] | 456bdha3 | 4 5 6 3 | 表示匹配任意一個數字,匹配到4個結果 |
[\d]+ | 456bdha3 | 456 3 | 表示匹配任意個數字,匹配到2個結果 |
分組 ()與 或 |[^]
身份證號碼是一個長度為15或18個字符的字符串,如果是15位則全部由數字組成,首位不能為0;如果是18位,則前17位全部是數字,末位可能是數字或x,下面我們嘗試用正則來表示:
正則 | 待匹配字符 | 匹配 結果 | 說明 |
^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 | 110101198001017032 | 表示可以匹配一個正確的身份證號 |
^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 | 1101011980010170 | 表示也可以匹配這串數字,但這并不是一個正確的身份證號碼,它是一個16位的數字 |
^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 | False | 現在不會匹配錯誤的身份證號了 ()表示分組,將\d{2}[0-9x]分成一組,就可以整體約束他們出現的次數為0-1次 |
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 | 110105199812067023 | 表示先匹配[1-9]\d{16}[0-9x]如果沒有匹配上就匹配[1-9]\d{14} |
轉義符 \
在正則表達式中,有很多有特殊意義的是元字符,比如\n和\s等,如果要在正則中匹配正常的”\n”而不是”換行符”就需要對”\”進行轉義,變成’\\’。
在python中,無論是正則表達式,還是待匹配的內容,都是以字符串的形式出現的,在字符串中\也有特殊的含義,本身還需要轉義。所以如果匹配一次”\n”,字符串中要寫成’\\n’,那么正則里就要寫成”\\\\n”,這樣就太麻煩了。這個時候我們就用到了r’\n’這個概念,此時的正則是r’\\n’就可以了。
正則 | 待匹配字符 | 匹配結果 | 說明 |
\n | \n | ?False | 因為在正則表達式中\是有特殊意義的字符,所以要匹配\n本身,用表達式\n無法匹配 |
\\n | \n | ?True | 轉義\之后變成\\,即可匹配 |
“\\\\n” | ‘\\n’ | ?True | 如果在python中,字符串中的’\’也需要轉義,所以每一個字符串’\’又需要轉義一次 |
r’\\n’ | r’\n’ | ?True | 在字符串之前加r,讓整個字符串不轉義 |
貪婪匹配
在滿足匹配時,匹配盡可能長的字符串,默認情況下,采用貪婪匹配
正則 | 待匹配字符 | 匹配結果 | 說明 |
<.*> | <script>…<script> | <script>…<script> | 默認為貪婪匹配模式,會匹配盡量長的字符串 |
<.*?> | r’\d’ | ?<script> <script> | 加上?為將貪婪匹配模式轉為非貪婪匹配模式,會匹配盡量短的字符串 |
幾個常用的非貪婪匹配Pattern
*? 重復任意次,但盡可能少重復 +? 重復1次或更多次,但盡可能少重復 ?? 重復0次或1次,但盡可能少重復 {n,m}? 重復n到m次,但盡可能少重復 {n,}? 重復n次以上,但盡可能少重復
.*?的用法
. 是任意字符 * 是取 0 至 無限長度 ? 是非貪婪模式。 合在一起就是 取盡量少的任意字符,一般不會這么單獨寫,他大多用在: .*?x 就是取前面任意長度的字符,直到一個x出現
re模塊下的常用方法
# re是regular expression的縮寫,表示正則表達式
import re# findall()返回所有滿足匹配條件的結果,放在列表里
ret = re.findall('a', 'eva egon yuan')
print(ret) #結果 : ['a', 'a']# search()函數會在字符串內查找模式匹配,只到找到第一個匹配然后返回一個包含匹配信息的對象,該對象可以,通過調用group()方法得到匹配的字符串,如果字符串沒有匹配,則返回None
ret = re.search('a', 'eva egon yuan').group()
print(ret) #結果 'a'# match()同search,不過在字符串開始處就開始進行匹配
ret = re.match('a', 'abc').group()
print(ret) # 結果 'a',如果是b,則匹配不到,返回None# split()先按'a'分割得到''和'bcd',在對''和'bcd'分別按'b'分割,不是很常用
ret = re.split('[ab]', 'abcd')
print(ret) #結果 ['', '', 'cd']# re.sub() 正則替換,sub是substitude的縮寫,表示替換,re.sub是正則表達式的函數,實現比普通字符串更強大的替換功能,語法如下sub(pattern,repl,string,count=0,flag=0)1))pattern正則表達式的字符串 ,eg中r'\w+',(r'',標識不轉義)2))repl被替換的內容,就是替換成的內容,eg中'10'3))string就是被替換的字符串,eg中"xy 15 rt 3e,gep"4))count:由于正則表達式匹配的結果是多個,使用count來限定替換的個數從左向右,默認值是0,替換所有的匹配到的結果eg中25))flags是匹配模式,可以使用按位或者“|”表示同時生效,也可以在正則表達式字符串中flags=re.Ire.I(IGNORECASE)忽略大小寫,括號內是完整的寫法re.M(MULTILINE)多行模式,改變^和$的行為re.S(DOTALL)點可以匹配任意字符,包括換行符re.L(LOCALE)做本地化識別的匹配,表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴于當前環境,不推薦使用re.U(UNICODE) 使用\w \W \s \S \d \D使用取決于unicode定義的字符屬性。在python3中默認使用該flagre.X(VERBOSE)冗長模式,該模式下pattern字符串可以是多行的,忽略空白字符,并可以添加注釋re.sub(r'\w+','10',"xy 15 rt 3e,gep",2,flags=re.I ) # 結果 '10 10 re 3e,gep',
# 其中r'\w+'為正則表達式,匹配多個英文單詞或者數字,'10'為被替換的內容,“xy 15 rt 3e,gep”是re匹配的字符串內容,count只替換前2個,flag表示忽略大小寫# subn()正則替換,返回元組(替換的結果,替換了多少次)
ret = re.subn('\d', 'H', 'eva3egon4yuan4')
print(ret) # compile()將正則表達式編譯成為一個 正則表達式對象
obj = re.compile('\d{3}') # 規則要匹配的是3個數字
# 正則表達式對象調用search,參數為待匹配的字符串
ret = obj.search('abc123eeee')
print(ret.group()) #結果 123 # finditer返回一個存放匹配結果的迭代器
import re
ret = re.finditer('\d', 'ds3sy4784a')
print(ret) # <callable_iterator object at 0x10195f940>
print(next(ret).group()) # 查看第一個結果
print(next(ret).group()) # 查看第二個結果
print([i.group() for i in ret]) # 查看剩余的左右結果
注意:
1 findall的優先級查詢:
import reret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['oldboy'] 這是因為findall會優先把匹配結果組里內容返回,如果想要匹配結果,取消權限即可,用 ?:ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret) # ['www.oldboy.com']
2 split的優先級查詢
ret=re.split("\d+","eva3egon4yuan")
print(ret) # ['eva', 'egon', 'yuan']ret=re.split("(\d+)","eva3egon4yuan")
print(ret) # ['eva', '3', 'egon', '4', 'yuan']# 在匹配部分加上()之后所切出的結果是不同的,
# 沒有()的沒有保留所匹配的項,但是有()的卻能夠保留了匹配的項,
# 這個在某些需要保留匹配部分的使用過程是非常重要的。# 添加表現和匹配標簽
# 可以在分組中利用?P<name>的形式給分組起名字,獲取的匹配結果可以直接用group('名字')拿到對應的值
ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>")
print(ret.group('tag_name')) # 結果 h1
print(ret.group()) # 結果 <h1>hello</h1># 如果不給組起名字,也可以用\序號來找到對應的組,表示要找的內容和前面的組內容一致,獲取的匹配結果可以直接用group(序號)拿到對應的值
ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>")
print(ret.group(1))
print(ret.group()) # 結果 <h1>hello</h1>
?