Passou muito tempo e o NuGet mudou, por isso aqui está uma nova resposta.
O NuGet não cria mais uma pasta de pacotes dentro de sua estrutura de origem. Em vez disso, há um em seu diretório de usuários ( %HOME%\.nuget\packages
para ser específico), onde ele coloca todos os pacotes que ele baixa, e os projetos apenas fazem referência a eles.
Então a resposta simples hoje em dia é não, você não deveria. Se você está preocupado com pacotes que você precisa desaparecer, você deve criar um espelho NuGet local que você faça backup separadamente.