qual o formato do ficheiro de 5Gb?
Não sei que ficheiro estás a tentar comprimir num RAR, mas digo-te já que ficheiros que já estão logo à partida comprimidos; tais como .JPGs, ficheiros de vídeo como os .AVI ( com codecs XviD, DivX, etc), .MKVs, etc., não vão conseguir compressão nenhuma. Em algumas situações até ficam maiores do que o ficheiro original.
O que podes fazer se quiseres mesmo gravar num DVD de uma camada, será gravar o RAR em partes.