Editar
Eu quero deixar claro que esta resposta está apenas falando sobre o conceito de testar seu processo de QA, e não estou defendendo a metodologia específica retratada na pergunta.
End Edit
Existe um motivo válido para verificar se o seu teste / verificação está realmente funcionando. Deixe-me dar um exemplo da manufatura, mas o princípio é o mesmo.
É típico quando a alimentação de material através de uma máquina que o alimentador não pode empurrar o material o suficiente. Isso é chamado de "alimentação curta" e, para evitar isso, podemos instalar um "sensor de alimentação curto" (normalmente, um sensor do tipo feixe atravessado bloqueado pelo material). Este sensor detecta a extremidade do material quando atinge o comprimento total de alimentação. Em um certo ponto do ciclo da máquina, verificamos se o sensor está bloqueado e paramos a máquina se a verificação falhar.
Agora você precisa pensar em como o teste pode falhar. Por exemplo, alguma sujeira ou outros detritos podem bloquear o sensor e ele sempre reportará "OK" e nunca parará a máquina. Além disso, a natureza do sensor é que o receptor liga quando o feixe o atinge, então, dependendo do tipo de sensor que você instalou, você recebe eletricamente uma entrada "ON" quando o sensor não está <> bloqueado . Isso significa que se o cabo foi cortado ou a energia foi perdida para esse sensor, ou a entrada falhou, a lógica do seu programa seria "OFF" e isso significaria "bloqueado" ou "OK".
Para capturar esses modos de falha do teste, normalmente inserimos uma segunda verificação para garantir que o sensor seja realmente desbloqueado durante uma segunda parte do ciclo. Desta forma, verificamos se o teste ainda está funcionando (da melhor maneira possível).
Da mesma forma, há muitas maneiras de um departamento de QA falhar. Talvez os testes automatizados não tenham sido executados e o relatório esteja analisando uma cópia antiga dos dados de teste. Talvez alguém não esteja fazendo o trabalho certo. Testar o departamento de QA é uma coisa razoável a fazer.
Obviamente, o inconveniente é que um "bug de teste" pode passar pelo departamento de QA e entrar no produto final. Na indústria de manufatura, às vezes há casos em que uma parte ruim conhecida, às vezes chamada de "coelho vermelho", é inserida no processo (normalmente por alguém do controle de qualidade) e eles observam essa parte passar pelo processo e medir quanto tempo leva para encontre a peça e remova-a. Normalmente esta parte é pintada de vermelho vivo (ou laranja) para que possa ser facilmente rastreada. Como alguém está observando a peça passar pelo processo durante esse teste, a chance de entrar no produto final é praticamente nula. Há, é claro, histórias apócrifas de alguém jogando uma parte ruim no processo para "ver se o sistema pode encontrá-lo" e, claro, ter que colocar em quarentena todas as partes finais produzidas naquele dia e classificá-las manualmente, mas isso é apenas um caso de não realizar o teste com a devida diligência.