Estou supondo que você esteja tentando fazer isso fora de um contêiner de aplicativo, em um aplicativo java principal. Ou então, os arquivos de propriedades não são o caminho certo para fazê-lo: os descritores de implantação, o repositório de configurações, etc., são a resposta correta.
Para a configuração, a ideia mais comum é commons config , que permite armazenar sua configuração como XML / texto. Tem alguns recursos: permite XPath como o acesso de configuração, permite acessar elementos de configuração com valores múltiplos como uma lista, etc.,.
O menos favorecido de todos é aquele que você especificou. Mesmo isso parece estar quebrado, pois é de um caminho específico relativo / absoluto. Idealmente, o arquivo deve estar no caminho de classe e deve ser lido de SystemClassLoader como InputStream nas Propriedades.
Espero que isso ajude.