你需要libavcodec和libavformat。FAQ告诉你：
4.1有没有示例说明如何使用FFmpeg库，特别是libavcodec和libavformat？
是的。请阅读FFmpeg文档的开发者指南。或者，检查已经在（projects.html）中包含FFmpeg的许多开源项目之一的源代码。
FFmpeg文档指南可以在ffmpeg.org/documentation.html找到，包括Developer's guide。我建议查看libavformat/output-example.c或者ffmpeg命令行实用程序本身的源代码。

如果你只是想把对ffmpeg的调用作为函数而不是系统调用，你可以很容易地做到。
在ffmpeg.c中，更改：

int main(int argc, char **argv) to int ffmpeg((int argc, char **argv)

然后在你调用ffmpeg函数时，传入一个模仿命令行的数组。为了使它更容易使用一个函数来创建argc，argv变量。

static int setargs(char *args, char **argv)
{
    int count = 0;

    while (isspace(*args)) ++args;
    while (*args) {
        if (argv) argv[count] = args;
        while (*args && !isspace(*args)) ++args;
        if (argv && *args) *args++ = '\0';
        while (isspace(*args)) ++args;
        count++;
    }
}

char **parsedargs(char *args, int *argc)
{
    char **argv = NULL;
    int    argn = 0;

    if (args && *args
        && (args = strdup(args))
        && (argn = setargs(args,NULL))
        && (argv = malloc((argn+1) * sizeof(char *)))) {
          *argv++ = args;
          argn = setargs(args,argv);
    }

    if (args && !argv) free(args);

    *argc = argn;
    return argv;
}

void freeparsedargs(char **argv)
{
    if (argv) {
        free(argv[-1]);
        free(argv-1);
    }
}
    return count;
}

int main()
{
    char **argv;
    char *cmd;
    int argc;

    cmd = "ffmpeg -i infile outfile";
    argv = parsedargs(cmd,&argc);
    ffmpeg(argc, argv);
}

是的，你必须使用libavcodec和libavformat。我认为你应该阅读ffmpeg源代码中的ffplay. c。我觉得你从那份文件开始会更容易些。