Eu não acho que você deva usá-los como objetos de negócios. De acordo com Vaughn Vernon EF é inflexível demais para ser usado diretamente como objetos de negócios
Em vez disso, use-os como objetos de estado. Isso é envolvê-los com um melhor encapsulamento de sua lógica de negócios. No link que eu forneci ele estava falando sobre DDD. O que você chama de objetos de negócios é chamado de raízes agregadas no DDD, mas o ponto ainda permanece.