使用FFmpeg处理视频文件

1、开发前准备

引入封装了FFmpeg的开源框架
在系统中手动安装FFmpeg

1.1 引入封装了FFmpeg的开源框架

JAVE.jar是一个封装了FFmpeg的Java框架，在项目中能直接调用它的API来处理音视频文件；

下载地址： https://www.atbigapp.com/document/1855485606826008576?share_id=1855485767711121408

优点：使用方便，直接在项目中引入JAVE.jar即可处理媒体文件，且开发完成后可以随工程一起打包发布，不需要在目标运行环境内手动安装FFmpeg相关的类库

缺点：JAVE.jar最后一次更新是2009年，其封装的FFmpeg版本是09年或更早前的版本，比较老旧，无法使用一些新特性

Maven坐标如下：

<dependency>
    <groupId>org.ffmpeg</groupId>
    <artifactId>sdk</artifactId>
    <version>1.0.2</version>
</dependency>

1.2 在系统中手动安装FFmpeg

在运行环境中手动安装FFmpeg

优点：可以直接调用FFmpeg的相关API处理音视频，FFmpeg版本可控

缺点：手动安装较为麻烦，开发环境与目标运行环境都需要先安装好FFmpeg

2、java运行ffmpeg程序

2.1 方式一，使用ProcessBuilder执行ffmpeg命令

public void run() {
	List commands = new ArrayList<>();
	// ffmpeg -rtsp_transport tcp -re -i rtsp://xxx:xxx/stream -fflags +genpts -flvflags no_duration_filesize -c:v copy -threads 5 -loglevel warning -y -tune zerolatency -preset ultrafast -max_delay 100000 -f flv rtmp://127.0.0.1:1935/hls/room
	commands.add("ffmpeg"); //调用FFmpeg命令行工具
	commands.add("-rtsp_transport");
	commands.add("tcp");
	commands.add("-i");
	commands.add("rtsp://xxx:xxx/stream"); //-i 要转换的RTSP视频流地址
	
	commands.add("-fflags");
	commands.add("+genpts");
	commands.add("-flvflags");
	commands.add("no_duration_filesize");
	commands.add("-c:v");
	commands.add("copy");
	
	commands.add("-threads");
	commands.add("5");//-threads 5：5线程
	
	commands.add("-loglevel");
	commands.add("warning");
	commands.add("-y");
	commands.add("-tune");
	commands.add("zerolatency");//-tune zerolatency： 0延迟
	commands.add("-preset");
	commands.add("ultrafast");//-preset ultrafast：设置x264的预设值为medium，这会影响编码速度和输出文件的大小。medium是一个平衡了编码速度和压缩效率的选项。ultrafast 非常快
	commands.add("-max_delay");
	commands.add("100000");//-max_delay 100000：视频的最大延迟 100ms
	commands.add("-f");
	commands.add("flv");// -f flv：指定输出格式为FLV。
	commands.add("rtmp://127.0.0.1:1935/hls/room");
	ProcessBuilder builder = new ProcessBuilder().command(commands);
	Process process = builder.start();
	asyncExecutor.execute(() -> readStream(process.getInputStream()));
	asyncExecutor.execute(() -> readStream(process.getErrorStream()));
}

private void readStream(InputStream stream, boolean isErrorStream) {
    try (InputStreamReader inputStreamReader = new InputStreamReader(stream, CharsetUtil.GBK);
         BufferedReader br = new BufferedReader(inputStreamReader)) {
        String line;
        while ((line = br.readLine()) != null) {
            log.error("info: {}", line);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

该方法需要开启线程监听process.getInputStream()与process.getErrorStream()，避免死锁问题。也可以直接给ffmpeg命令加上-loglevel quiet参数来不让输出日志。

2.2 方式二，使用工具类

public void run(List<String> args, long timeOut, File workDir) {
        CommandLine commandline = commandline(args);

        try (ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
             ByteArrayOutputStream errorStream = new ByteArrayOutputStream()) {
            DefaultExecutor exec = new DefaultExecutor();
            exec.setExitValues(null);
            ExecuteWatchdog watchdog = new ExecuteWatchdog(timeOut);
            exec.setWatchdog(watchdog);
            if (Objects.nonNull(workDir)) {
                exec.setWorkingDirectory(workDir);
            }
            PumpStreamHandler streamHandler = new PumpStreamHandler(outputStream, errorStream);
            exec.setStreamHandler(streamHandler);
            int ret = exec.execute(commandline);
            if (ret == 143) {
                throw new TimeoutException(String.format("Timed out waiting for to finish. Wait %d ms", timeOut));
            } else if (ret != 0) {
                log.error("arguments: {} , result code: {}, error info: {}",
                        String.join(" ", commandline.getArguments()),
                        ret,
                        errorStream.toString());
            }
        } catch (Exception e) {
            log.error(commandline.getExecutable(), e);
        }
    }

这段代码，超时异常，失败异常，失败信息获取，甚至是命令执行的工作目录，都已经考虑到了。

3、开发时遇到的坑

3.1 内存不足

服务器内存不足导致实时直播转换视频失败，系统卡死崩溃。

可通过扩容后解决。

3.2 Process的waitFor死锁问题及解决办法

当Runtime对象调用exec(cmd)后，JVM会启动一个子进程，该进程会与JVM进程建立三个管道连接：标准输入，标准输出和标准错误流。假设该程序不断在向标准输出流和标准错误流写数据，而JVM不读取的话，当缓冲区满之后将无法继续写入数据，而Java的waitfor()是阻塞等待子进程完成的。所以会最终造成阻塞在waitfor()这里。解决的主要思路是Java要及时消费这个缓冲区的io流，或者直接不让ffmpeg输出日志。