Para o controle de qualidade quando encondando vÃdeos com o FFmpeg use o parâmetro -qscale seguido de um número. Os número podem ir de 1 (melhor qualidade) até 31 (pior qualidade), sendo que 13 já é uma qualidade bem ruim.
Convertendo pro exemplo um vÃdeo chamado exemplo.flv para um arquivo ogg com a melhor qualidade seria:
ffmpeg -i exemplo.flv -qscale 1 saida.ogg
Sem usar esse parâmetro os arquivos encodados em OGG ficam com uma qualidade mediana. Uma opção bem útil é usar a mesma qualidade do arquivo de entrada, já que não é possÃvel melhorar a qualidade do vÃdeo mesmo. Para isso existe o parâmetro -sameq. No exemplo anterior bastaria:
ffmpeg -i exemplo.flv -sameq saida.ogg
Com isso eu tenho reduzido os vÃdeos da minha câmera para arquivos que só ocupam cerca de 1/5 do tamanho original e ainda assim mantém a mesma qualidade.