音頻信號處理將原始聲音數據轉化為有意義的洞見，適用于語音分析、生物聲學和醫學診斷等領域。使用R語言，我們可以處理音頻文件、可視化頻率內容，并生成如聲譜圖等詳細圖表。本指南將展示如何使用R包tuneR、seewave和rpanel分析嬰兒哭聲音頻文件(babycry.wav)，同時解釋關鍵技術概念及其實際應用。

為什么選擇R進行音頻分析？

R是數字信號處理(DSP)的強大平臺，使用戶能夠操作和可視化音頻信號。關鍵的DSP概念包括：

• 傅里葉變換：將時域信號(振幅vs時間)轉換為頻域表示(振幅vs頻率)的數學工具，揭示信號的關鍵頻率成分。

  連續傅里葉變換(CFT)的數學表示為：

  $$X(f)={\int }_{?\infty }^{\infty }x(t)e^{?j2\pi ft}dt$$

  其中：

  • $x(t)$ 是時域信號
  • $X(f)$ 是頻域表示
  • $j$ 是虛數單位($\sqrt{?1}$)
  • $f$ 是以赫茲(Hz)為單位的頻率

  逆傅里葉變換轉換回時域：

  $$x(t)={\int }_{?\infty }^{\infty }X(f)e^{j2\pi ft}df$$

  在數字信號處理中，我們使用離散傅里葉變換(DFT)，它是CFT的采樣版本：

  $$X[k]=\sum _{n=0}^{N?1}x[n]e^{?j2\pi kn/N}$$

  其中：

  • $x[n]$ 是離散時間信號
  • $X[k]$ 是離散頻譜
  • $N$ 是采樣點數
  • $k$ 是頻率分量的索引

  快速傅里葉變換(FFT)是計算DFT的高效算法，將計算復雜度從$O(N^2)$降低到$O(N\log N)$。

• 聲譜圖：顯示信號頻率內容如何隨時間變化的可視化表示，將時間、頻率和振幅結合在一個圖表中。

• 濾波器：用于去除不需要的噪聲或分離特定頻段的技術，提高信號清晰度。

tuneR、seewave和rpanel包簡化了R中的音頻處理，支持.wav、.mp3和.flac等格式。

R包詳解

• tuneR：用于讀取、寫入和操作音頻文件的包（如.wav）。它提供了創建、播放和分析波形的函數，如生成正弦波或提取采樣率等信號屬性。
• seewave：基于tuneR構建，專門用于聲學分析，提供頻率分析、聲譜圖和示波器的工具。
• rpanel：用于在R中創建交互式圖形界面的包。在音頻分析中，它支持交互式聲譜圖等動態可視化。

示例：分析嬰兒哭聲

我們將分析一個嬰兒哭聲音頻文件(babycry.wav)，探索其頻率內容并創建可視化。嬰兒哭聲在頻率變化上很豐富，是展示聲譜圖和頻譜的理想示例。

第一步：設置和加載音頻

安裝并加載所需的包，檢查是否已安裝以避免重復：

packages <- c("tuneR", "seewave", "rpanel")
for (pkg in packages) {if (!require(pkg, character.only = TRUE, quietly = TRUE)) {install.packages(pkg)library(pkg, character.only = TRUE)}
}

加載音頻文件：

baby <- readWave("babycry.wav")

第二步：基本音頻探索

檢查音頻屬性，如采樣率（每秒采樣數）和持續時間：

> summary(baby)Wave Object采樣數:      56000持續時間(秒):  7采樣率(Hz):    8000聲道(單聲道/立體聲): 單聲道PCM(整數格式):  TRUE位深(8/16/24/32/64): 16通道統計摘要:最小值    第一四分位數  中位數     平均值    第三四分位數  最大值 
-21115.00  -1370.25      6.00    -13.23   1380.00  21137.00 

播放音頻以確認內容：

play(baby)

第三步：時域可視化（波形圖）

繪制波形圖以可視化隨時間變化的振幅（信號強度）：

plot(baby@left[1:10000], type="l", xlab="樣本", ylab="振幅", main="嬰兒哭聲波形圖")

其中：

• type="l"：在R的plot()函數中，type參數指定如何顯示數據點。“l"代表"line” - 它用直線連接數據點，創建連續線圖。
• 其他常見類型包括：
  • “p” 表示點（默認）
  • “b” 表示點和線
  • “h” 表示類似直方圖的垂直線
  • “s” 表示階梯圖
• baby@left[1:10000]：baby是來自tuneR包的Wave對象。@left訪問音頻的左聲道（對于單聲道音頻，這是唯一的聲道）。[1:10000]是R中選取音頻信號前10000個樣本的方式。

什么是波形圖？
波形圖是顯示信號振幅隨時間變化的時域圖。在嬰兒哭聲中，波峰代表較大聲的時刻（如強烈哭泣），而波谷表示較安靜的時期。它用于評估信號強度和時間結構，但不顯示頻率內容。

如何解讀：

• X軸：時間（或樣本索引，與時間成正比）。
• Y軸：振幅（正值/負值表示聲波的振蕩）。
• 用途：識別響度模式或信號持續時間。

第四步：使用FFT進行頻率分析

應用快速傅里葉變換(FFT)分析信號的頻率成分：

baby_fft <- fft(baby@left)plot_frequency_spectrum <- function(X.k, xlimits = c(0, length(X.k)/2)) {plot.data <- cbind(0:(length(X.k)-1), Mod(X.k))plot.data[2:length(X.k), 2] <- 2 * plot.data[2:length(X.k), 2]plot(plot.data, type="h", lwd=2, main="頻率譜",xlab="頻率(Hz)", ylab="強度",xlim=xlimits, ylim=c(0, max(Mod(plot.data[,2]))))
}plot_frequency_spectrum(baby_fft[1:(length(baby_fft)/2)])

• fft(baby@left) 使用快速傅里葉變換(FFT)計算音頻信號的左聲道。結果是一個復數向量，每個元素代表一個頻率分量。
• plot_frequency_spectrum 函數創建頻率譜圖，顯示信號中不同頻率的強度。

什么是頻率譜？
頻率譜顯示信號中不同頻率分量的振幅（強度），通過FFT獲得。對于嬰兒哭聲，它揭示了主要頻率（如500-5000 Hz，這是人類聽覺最敏感的范圍）。

如何解讀：

• X軸：頻率（Hz）。
• Y軸：振幅（每個頻率的強度）。
• 用途：識別關鍵頻率（如哭聲的音高）或檢測噪聲等異常。

第五步：時頻可視化的聲譜圖

生成聲譜圖以可視化頻率隨時間的變化：

spectro(baby, wl=1024, main="嬰兒哭聲聲譜圖")

什么是聲譜圖？
聲譜圖是使用短時傅里葉變換(STFT)創建的2D圖，它將FFT應用于信號的重疊時間窗口。它顯示：

• X軸：時間（秒）。
• Y軸：頻率（Hz）。
• 顏色強度：振幅（較亮/較暗的顏色表示較強/較弱的信號）。

如何解讀：

• 水平帶表示持續頻率（如哭聲中的穩定音高）。
• 垂直模式顯示頻率的快速變化（如哭聲開始）。
• 對于嬰兒哭聲，預期頻率在500-5000 Hz之間，強烈哭聲時會有強度爆發。

窗口長度(wl)：
wl=1024參數設置FFT窗口大小。較大的窗口提高頻率分辨率但降低時間精度，反之亦然。

第六步：平均頻譜

計算整個信號的平均頻譜：

meanspec(baby, main="平均頻譜圖")

什么是平均頻譜？
該圖平均了信號持續時間內的頻率內容，將時變數據壓縮為單一的頻域視圖。

如何解讀：

• X軸：頻率（Hz）。
• Y軸：平均振幅。
• 用途：識別整個信號中的主導頻率，有助于表征嬰兒哭聲中的持續音調（如基頻）。

第七步：帶示波圖的動態聲譜圖

創建帶示波圖的交互式聲譜圖：

dynspec(baby, wl=1024, osc=TRUE)

什么是動態聲譜圖？
動態聲譜圖由rpanel啟用，是聲譜圖的交互式版本。它允許縮放和平移以詳細探索信號的時頻結構。

什么是示波圖？
示波圖（通過osc=TRUE啟用）是顯示幅度隨時間變化的波形圖，與聲譜圖一起顯示。

R進行音頻處理的優勢

• 靈活性：tuneR和seewave支持從波形生成到高級頻率分析的各種音頻操作。
• 可視化：豐富的繪圖選項，用于波形、頻譜和聲譜圖。
• 開源：免費，提供全面的CRAN文檔和社區支持。

局限性

• 學習曲線：需要理解傅里葉變換和加窗等DSP概念。
• 性能：對于大型數據集或實時處理，R可能比Python或MATLAB慢。

結論

R與tuneR、seewave和rpanel一起，是音頻分析的強大平臺。通過處理嬰兒哭聲，我們生成了詳細的可視化效果，包括波形圖、頻譜圖和聲譜圖。這些工具揭示了信號的時域和頻域特征，適用于語音、生物聲學或醫療診斷。

參考

• tuneR文檔
• seewave文檔
• seewave筆記(第1部分)
• seewave筆記(第2部分)
• R在數字信號處理中的溫和介紹
• R聲音分析教程
• R中音頻文件處理基礎