Também faço isso para aplicativos internos simples. Funciona bem.
Na verdade, você tem os mesmos pré-requistores de antes - você ainda precisaria de .Net na máquina do cliente se usasse ClickOnce ou um instalador (não é possível distribuir as partes da estrutura .Net que você usa com seu aplicativo infelizmente). O Windows faz uma cópia local temporária do exe e o executa - o que significa que todos os usuários executam uma cópia independente.