前置:保存的一些成員變量
// 攝像頭開啟的 handler
private Handler cameraHandler;
// Camera session 會話 handler
private Handler sessionHandler;
//這里是個Context都行
private AppCompatActivity mActivity;
// 這個攝像頭所有需要顯示的 Surface,以TextureView創建的Surface在一開始就已經加進去了,如果用SurfaceView的話,注意管理好SurfaceView因為onstop,onStart創建和銷毀的Surface
private List<Surface> mViewSurfaces;
private CameraManager cameraManager;private String mCameraId;
private CameraDevice mDevice;
//Camera 配置信息
private CameraCharacteristics mCharacteristics;
private CameraCaptureSession mSession;// 編碼輸入的Surface,由MediaCodec創建
private Surface mStreamSurface;
// 攝像頭選擇的輸出大小
private Size mSize;//編碼器
private MediaCodec mMediaCodec;
一、選擇要打開的攝像頭,并保存對應配置參數。
-
獲取打開的攝像頭 ID,以及獲取對應參數配置.
try {
String[] cameraIdList = cameraManager.getCameraIdList();
// 遍歷攝像頭,獲取第一個可用的攝像頭,多個攝像頭暫不播放
for (String id : cameraIdList) {
CameraCharacteristics cameraCharacteristics = cameraManager.getCameraCharacteristics(id);
// 獲取該攝像頭的說明數據
int[] ints = cameraCharacteristics.get(CameraCharacteristics.REQUEST_AVAILABLE_CAPABILITIES);
if (ints != null) {
Arrays.stream(ints).filter(value -> value == CameraMetadata.REQUEST_AVAILABLE_CAPABILITIES_BACKWARD_COMPATIBLE).close();
if (ints.length == 0) {
Log.d(TAG, “the camera has not basic supports.”);
continue;
}
mCameraId = id;
mCharacteristics = cameraCharacteristics;
// 由于目前無具體需求,使用第一個可連接的攝像頭進行顯示,選完就返回,有需要的獲取配置參數自行判定
break;
}
}
} catch (CameraAccessException e) {
throw new RuntimeException(e);
}
說明:CameraMetadata.REQUEST_AVAILABLE_CAPABILITIES_BACKWARD_COMPATIBLE 只是為了確定這個 Camera可用而已。
-
獲取攝像頭的所有的輸出尺寸,選一個合適的
//獲取配置參數
StreamConfigurationMap configurationMap = mCharacteristics.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);
//拿到對應 ImageFormat.YUV_420_888 所有可輸出的尺寸,一般比較多,1280x720,1920x1080等等一大堆,傳參有點重要下面說明會說.
Stream stream = Arrays.stream(configurationMap.getOutputSizes(ImageFormat.YUV_420_888));
//這里我選了寬高相乘最大的
Optional max = stream
.max(Comparator.comparingInt(item -> item.getWidth() * item.getHeight()));
stream.close();
//把輸出尺寸保存起來,后面創建編碼器要用,其實就是視頻的分辨率
max.ifPresent(value -> mSize = value);
獲取Camera圖像格式的方法:
int[] outputFormats = configurationMap.getOutputFormats();
遍歷打印一下,選一個就行,但是盡量按照參數說明搭配需求去選。
二、創建編碼器
-
通過步驟一拿到的輸出尺寸,配置編碼格式.(只設置了必要的幾個參數,其他的自選加入)
//創建編碼格式MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", mSize.getWidth(), mSize.getHeight());//設置碼率mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, (int) (mSize.getHeight() * mSize.getWidth() * 0.2));//設置幀率60mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 60);//設置顏色格式,因為這里用的自動編碼,就不用yuv420自己手動編了,直接用surfacemediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);//設置關鍵幀產生速度 1,單位是(幀/秒)mediaFormat.setFloat(MediaFormat.KEY_I_FRAME_INTERVAL, 1f);//攝像頭編碼角度會出現90度的偏差,設置正向旋轉90顯示正常效果,你要喜歡歪頭90看其實也行mediaFormat.setInteger(MediaFormat.KEY_ROTATION, 90);Log.d(TAG, "MediaCodec format: " + mediaFormat);
說明:
(1) 編碼格式創建中,video/avc 表示編碼為 h264 編碼,編碼其實就是為了降低視頻大小.
(2) 碼率設置中,后面的乘以0.2只是為了降低碼率,不然太清晰了。。。正常的大多數是乘以5,這樣看著清晰多,當然大小也會增加.
(3) 幀率設置為24以上就行,不然就是PPT。
(4) 關鍵幀產生速度SDK25之后可以設為float類型,關鍵幀就是 i 幀,設置之后只是說盡量按這個速度產生,肯定不會一模一樣的,0或者復數就是希望沒幀都是關鍵幀
- 創建編碼器
try {
//按照“video/avc”創建編碼器,硬編碼是基于硬件的,廠商不同會有不一樣的硬編碼實現,編碼是Encode,別用成Decode解碼器
mMediaCodec = MediaCodec.createEncoderByType(“video/avc”);
} catch (IOException e) {
e.printStackTrace();
}
//配置編碼器,MediaCodec狀態機就不說了,這里只提使用。參數4也是說明是編碼器,和創建時不一致也會報錯
mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
//創建輸入Surface,和MediaFormat設置的KEY_COLOR_FORMAT參數是有聯系的,format那里設錯了就不能用自動擋的surface,且createInputSurface()方法必須在configure()之后,start()之前調用
mStreamSurface = mMediaCodec.createInputSurface();
//開啟編碼
mMediaCodec.start();
說明:四個點
(1) MediaCodec.createEncoderByType(“video/avc”),創建編碼器,MediaCodec.createDecoderByType(“video/avc”)是創建解碼器的。byName那個的話想用得先獲取硬件已實現的編碼器的名字才能調,雖然不麻煩,但是懶得敲,而且因為硬件廠商實現不同,兼容性還得考慮。
(2) configure()很容易就報錯,參數4編解碼值是不一樣的,以及MediaFormat的設置,如果和攝像頭、手機不支持也會報錯,所以前面寫的那些代碼就是為了拿的,不然隨便寫一個就行了。
(3) MediaCodec.createInputSuface()方法必須在 configure()配置編碼之后,start()開始編碼之前調用,點進實現也有說明,出現其實也挺好解決,你也可以用mMediaCodec.setInputSurface(創建的常顯Surface)去用自己的Surface,沒有常顯Surface的話可以靜態方法MediaCodec.createPersistentInputSurface()創建一個常顯Surface.
(4) 在 start()開啟編碼之后,MediaFormat參數格式其實是可以改的,只是需要用Bundle,通過key-value的方式設值,然后mMediaCodec.setParameters(bundle)去動態設置。
三、操作攝像頭
- 打開攝像頭預覽
攝像頭 ID之前已經拿過了,所以直接open就行了。
cameraManager.openCamera(cameraId, new CameraDevice.StateCallback() {
@Override
public void onOpened(@NonNull CameraDevice camera) {
Log.d(TAG, "onOpened, camera: " + camera);
mDevice = camera;
// Camera 打開之后,把創建的解碼器 Surface 加入顯示隊列中addSurface(mStreamSurface);//創建請求CaptureRequest request = createCaptureRequest(mDevice, mViewSurfaces);//創建輸出配置項List<OutputConfiguration> outputConfigurations = createOutputConfig(mViewSurfaces);try {SessionConfiguration config = new SessionConfiguration(SessionConfiguration.SESSION_REGULAR,outputConfigurations,new ThreadPoolExecutor(3, 5, 15, TimeUnit.SECONDS, new ArrayBlockingQueue<>(25)),new CameraCaptureSession.StateCallback() {@Overridepublic void onConfigured(@NonNull CameraCaptureSession session) {mSession = session;try {//到這個回調,攝像頭就可以正常預覽了,編碼器也會輸出編碼數據到輸出隊列了mSession.setRepeatingRequest(request, null, sessionHandler);} catch (CameraAccessException e) {throw new RuntimeException(e);}}@Overridepublic void onConfigureFailed(@NonNull CameraCaptureSession session) {Log.e(TAG, "onConfigureFailed, camera: " + session);if (mSession != null) mSession.close();if (mDevice != null) mDevice.close();mDevice = null;}});mDevice.createCaptureSession(config);} catch (CameraAccessException e) {error();}}@Overridepublic void onDisconnected(@NonNull CameraDevice camera) {Log.e(TAG, "onDisconnected, camera: " + camera);}@Overridepublic void onError(@NonNull CameraDevice camera, int error) {Log.e(TAG, "onError, camera: " + camera + " ,error : " + error);}}, cameraHandler);
-
創建CaptureRequest請求的函數(因為涉及到多個Surface,就單獨創建了)
private CaptureRequest createCaptureRequest(CameraDevice cameraDevice, List surfaces) {
CaptureRequest.Builder captureRequest;
try {
//簡單預覽模式創建,有要求可以根據api去選video這些
captureRequest = cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
//聚焦模式,不設置也可以
captureRequest.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
} catch (CameraAccessException e) {
throw new RuntimeException(e);
}
if (surfaces != null) {
//把每一個需要輸出攝像頭數據的Surface都加入
for (Surface surface : surfaces) {
if (surface == null) {
continue;
}
captureRequest.addTarget(surface);
}
}
return captureRequest.build();
} -
創建List的函數,Surface比較多,用的比較新的api去創建的session,老的api已經被標注遺棄了,所以單獨列個方法。
private List createOutputConfig(List surfaces) {
List configs = new ArrayList<>(surfaces.size());
for (Surface surface : surfaces) {
if (surface == null) {
continue;
}
//SDK32,config.enableSurfaceSharing()開啟分享后addSurface()添加新的輸出面會有問題,所以就沒以一個Config去添加所有Surface
OutputConfiguration config = new OutputConfiguration(surface);
//就只創建,啥也不做,有要求可以自己加
configs.add(config);
}
return configs;
}
四、獲取編碼器的編碼數據
-
這部分網上挺多的,也不難.
//這個是保存錄像數據的
FileOutputStream outputStream;
//每個關鍵幀的數據前面都需要添加spsPps的數據,不然無法解碼播放
byte[] spsPps = null;boolean codecing = true;
//編碼輸出信息的對象,賦值由MediaCodec做
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();//當前可用的數據位置
int outputBufferIndex;
byte[] h264 = new byte[mCameraAdapter.getSize().getWidth() * mCameraAdapter.getSize().getHeight()];
//死循環獲取,也可以對MediaCodec設置callback獲取
while (codecing) {
//獲取未來一段時間可用的輸出緩沖區,如果存在可用,返回值大于等于0,bufferInfo也會被賦值,最大等待時間是100000微秒,其實就是100毫秒
outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 100000);
Log.i(TAG, “dequeue output buffer outputBufferIndex=” + outputBufferIndex);//如果當前輸出緩沖區沒有可用的,返回負值,不同值含義不一樣,有需要做判定即可if (outputBufferIndex < 0) { continue;}ByteBuffer outputBuffer = mediaCodec.getOutputBuffer(outputBufferIndex);Log.i(TAG, "Streaming bufferInfo,flags: " + bufferInfo.flags+ ", size: " + bufferInfo.size+ ", presentationTimeUs: " + bufferInfo.presentationTimeUs+ ", offset: " + bufferInfo.offset);//調整數據位置,從offset開始。這樣我們一會兒讀取就不用傳offset偏差值了。 outputBuffer.position(bufferInfo.offset);//改完位置,那肯定要改極限位置吧,不然你數據不就少了數據末尾長度為offset的這一小部分?這兩步不做也可以,get的時候傳offset也一樣outputBuffer.limit(bufferInfo.offset + bufferInfo.size);//現在的spsPps還是空的,這是不能做寫入文件,保存之類操作的if (spsPps == null) {//創建寫入的文件,保存錄像try {File file = new File(mContext.getDataDir().getAbsolutePath() + "camera.h264");boolean newFile = file.createNewFile();outputStream = new FileOutputStream(file, true);} catch (Exception ignored) {}// sps pps獲取并保存,還有其他方式可以獲取,不過不一定有效,最好檢驗一下ByteBuffer sps = mMediaCodec.getOutputFormat().getByteBuffer("csd-0");ByteBuffer pps = mMediaCodec.getOutputFormat().getByteBuffer("csd-1");byte[] spsBites = new byte[sps.remaining()];byte[] ppsBites = new byte[pps.remaining()];sps.get(spsBites);pps.get(ppsBites);spsPps = new byte[spsBites.length + ppsBites.length];System.arraycopy(spsBites, 0, spsPps, 0, spsBites.length);System.arraycopy(ppsBites, 0, spsPps, spsBites.length, ppsBites.length);} else {//現在已經有spsPps數據了,可以開始了try {if (bufferInfo.size > h264.length) {h264 = new byte[bufferInfo.size];}h264 = new byte[bufferInfo.size];//獲取編碼數據outputBuffer.get(h264, 0, bufferInfo.size);//數據校驗一下,如果是關鍵幀需要在頭部加入spsPps,校驗完的trans,就是編碼好的h264編碼數據了byte[] trans = trans(h264, 0, bufferInfo.size, bufferInfo.flags);//保存錄像數據到文件中.暫定2G大小if (outputStream.getChannel().size() < (2L << 30)) {outputStream.write(trans);}//結束標志到達if (bufferInfo.flags == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {pusher.stop();isStreaming = false;}} catch (Exception e) {e.printStackTrace();} finally {//釋放這個緩沖位置的數據,不釋放就一直在,MediaCodec數據滿了可不行mediaCodec.releaseOutputBuffer(outputBufferIndex, false);}}
}
說明:
(1) 獲取編碼的 index,大于等于零才是有效的,不然不能用。
(2) 保存h264編碼數據之前,需要先獲取spsPps,不然關鍵幀之前沒有spsPps,解碼播放端也不加的話就沒法看了。
(3) 獲取數據注意offset,真正有效的數據是 bytes[offset] 到 bytes[offset+size]這個位置,至于你是get()的時候傳offset拿,還是possition()limit()后傳0拿,就看你心情了。
(4) 這個index的輸出緩沖區用完之后,記得釋放
(5) 這個錄像保存只是做個樣子,如果真是錄像,建議用 MediaMuxer 來做,直接傳判定 index 后 傳 buffinfo 就行,簡單方便。
-
這是校驗是不是關鍵幀的,很簡單明了
private byte[] trans(byte[] h264, int offset, int length, int flags) {
//關鍵幀判定
if ((flags & MediaCodec.BUFFER_FLAG_KEY_FRAME) != 0) {
// 每個關鍵幀前面需要添加spsPps
byte[] data = new byte[spsPps.length + length];
System.arraycopy(spsPps, 0, data, 0, spsPps.length);
System.arraycopy(h264, offset, data, spsPps.length, length);
length = data.length;return data;} else {return h264;}
}
五、播放保存的 h264 文件.
連上設備,我這邊設置的文件位置是 Context.getDataDir().getAbsolutePath()/camera.h264,真實目錄是 /data/data/包名/camera.h264,保存出來用vlc,或者ffmpeg命令ffplay播放就行了,親測:windows自帶的播放器無法解碼(笑)。