點擊上方"開發者的花花世界"，選擇"設為星標"技術干貨不定時送達！
這是一個知識點
方便快捷的給結構化數據文件分割大小并保留文件的表頭，幾十個G的結構化文件不僅閱讀編輯麻煩，而且使用受限，因此高效的分割成小文件并保留頭行
1、分割文件
在Linux下，切割和合并文件可以使用split和cat命令來實現。在Windows下，安裝Git Bash也可以使用split和cat命令。分割文件的命令是split，通過輸入split --help可以查詢幫助信息。假設現在有個6GB大小的文件test.log，這里簡單介紹下幾種分割的方式：
按大小分割文件(此處不推薦)
split -b 500m 文件 newfile每個文件大小500m，生成的新文件的文件名是newfile后面加上按照aa，ab，ac……來排序的 比如文件有1.4G，那么會切割出3個文件，文件名分別是newfileaa，newfileab，newfileac，沒有擴展名 新文件名可以不設置，系統默認新文件以字母x開頭，也就是說，如果命令是：
split -b 500m log.txt那么文件名就是xaa，xab，axc 速度比windows下的那些什么切割軟件快太多 同時，-C參數表示按照所有行數加起來的最大字節數進行分割，同樣可以使用k或者m作為單位，其實效果和上邊的-b差不多，只是在切割時將盡量維持每行的完整性。另外切開的文件還能再合起來，命令是：
cat newfile* > orifile此處不推薦的原因是因為結構化文件按大小分割會造成結構破壞，故推薦按行分割
按行分割文件
split -l
split -l 5000 文件 newfile-l參數表示按照行數進行分割，即一個小文件中最多有多少行，-l number可以縮寫成-number，上邊的命令表示按照5000行一個小文件進行分割。
推薦按行分割文件，能保留行的完整性不破壞結構化文件的結構
2、給分割后的文件插入表頭行
Sed是一款流編輯工具，用來對文本進行過濾與替換操作，特別是當你想要對幾十個配置文件做統一修改時，你會感受到Sed的魅力！Sed通過一次僅讀取一行內容來對某些指令進行處理后輸出，所以Sed更適合于處理大數據文件。首先，Sed通過文件或管道讀取文件內容，但Sed默認并不直接修改源文件，而是將讀入的內容復制到緩沖區中，我們稱之為模式空間(pattern space)，所有的指令操作都是在模式空間中進行的，然后Sed根據相應的指令對模式空間中的內容進行處理并輸出結果，默認輸出至標準輸出(即屏幕上)。
Sed從文件中讀取數據，如果沒有輸入文件，則默認對標準輸入進程數據進行處理，腳本指令是第一個非“-”開頭的參數，具體語法格式如下：
sed [選項]...{腳本指令} [輸入文件]| 選項 | 含義 |
| --version | 顯示sed版本 |
| --help | 顯示幫助文檔 |
| -n，--quit，--silent | 靜默輸出，默認情況下，sed程序在所有的腳本指令執行完畢后，將自動打印模式空間中的內容，該選項可以屏蔽自動打印。 |
| -e script | 允許多個腳本指令被執行 |
| -f script-file | 從文件中讀取腳本指令，對編寫自動腳本程序很實用。 |
| -i，--in-place | 慎用，該選項將直接修改源文件 |
| l，N | 該選項指令l指令可以輸出的行長度，l指令為輸出非打印字符。 |
| --posix | 禁用GNU sed擴展功能 |
| -r | 在腳本指令中使用擴展正則表達式 |
| -s，--separate | 默認情況下，sed將把輸入的多個文件名作為一個長的連續的輸入流，而GNU sed則允許把它們當作單獨的文件 |
| -u，--unbuffered | 最低限度的緩存輸入和輸出 |
因此，給分割后的文件加表頭的方法是：
sed -i "1i 字段,字段,字段,字段" 文件1i表示第一行之前
3、批量給分割后的文件增加后綴名
由于分割后的文件默認是沒有后綴名的，故需要增加后綴名 非常簡單,例如CSV后綴
for i in *do mv $i $i".csv"done完成
關注Github：1/2極客[1]
關注博客：御前提筆小書童[2]
關注網站：HuMingfeng[3]
關注公眾號：開發者的花花世界
References
[1]?1/2極客:?https://github.com/humingfeng[2]?御前提筆小書童:?https://blog.csdn.net/qq_22260641[3]?HuMingfeng:?https://royalscholar.cn
喜歡就點個"在看"唄^_^
)