Não vou dizer qual é melhor ou pior, porque isso depende em parte da sua situação (na minha opinião). Mas considere que seus getters e setters podem alterar a implementação posteriormente, e ignorá-los ignoraria essa lógica.
Por exemplo, o que acontece se você adicionar um sinalizador "dirty" a alguns campos de setter mais tarde? Ao chamar seus setters em seu código interno, você definirá o sinalizador sujo sem alterar nenhum outro código. Em muitas situações isso seria bom.