Bem, não acho que haja uma única resposta definitiva. Mas posso dizer-lhe o que acontece no meu local de trabalho, e que toda a árvore de código-fonte está sob controle de revisão: todos os meus componentes de terceiros, todas as rotinas C estranhas que são compiladas e vinculadas, um número de .obj arquivos etc.
É muito importante para nós podermos ter um processo de construção repetível e o acima é realmente um pré-requisito para isso.
Agora, como alcançar esse objetivo com o seu sistema de controle de origem é outra questão, mas você deve ter o objetivo de poder verificar todo o projeto e ser capaz de construí-lo sem intervenção humana.