Você precisa de um processo de garantia de qualidade (QA) adequado.
Em uma equipe profissional de desenvolvimento de software, você não passa do desenvolvimento à produção. Você tem pelo menos três ambientes separados: desenvolvimento, encenação e produção.
Quando você pensa que tem algo funcionando em seu ambiente de desenvolvimento, você avança para a primeira preparação, em que cada confirmação é testada pela equipe de controle de qualidade e, somente se o teste for bem-sucedido, ela será enviada para produção. Idealmente, o desenvolvimento, teste e envio para produção são feitos por pessoas separadas. Isso pode ser assegurado configurando seu sistema de automação de construção de forma que os desenvolvedores só possam implementar do desenvolvimento ao armazenamento temporário e que a equipe de controle de qualidade possa implantar somente de teste para produção.
Quando você não consegue persuadir a gerência a contratar alguém para fazer o seu controle de qualidade, então talvez um de vocês possa desempenhar esse papel para o outro. Eu nunca trabalhei com diploy.io, mas alguns sistemas de automação de construção podem ser configurados de forma que um usuário possa implementar tanto do desenvolvimento ao escalonamento e do escalonamento à produção, mas não ambos para a mesma construção, então uma segunda pessoa é sempre necessário (mas certifique-se de ter algumas pessoas de backup para momentos em que um de vocês está ausente).
Outra opção é ter sua equipe de suporte fazendo o controle de qualidade. Isso pode parecer um trabalho adicional para eles, mas também garante que eles estejam cientes de qualquer alteração no aplicativo, o que pode proteger alguns trabalhos a longo prazo.