Só é necessário ter alguma medida de quanto tempo uma história levou para implementar, para que você possa compará-la com a estimativa inicial. Armado com essa informação, você pode fazer estimativas melhores da próxima vez.
Por exemplo, para essa iteração, você decide que a história A levará dois dias e a história B, quatro. No entanto, ela realmente demora três para os dois. Em seguida, na próxima iteração, você poderá examinar novamente as histórias restantes e reestimá-las com base nessas informações. Se houver mais histórias como "A", você precisará de mais tempo (ou menos tarefas), no entanto, se houver mais histórias como "B", você precisará de menos tempo (ou fazer mais).
Você não deve registrar o tempo contra os membros da equipe, mas contra a história. Eu sei que alguns dizem que você não deve logar em nenhum momento, mas a menos que você tenha desenvolvedores com recordação perfeita, suas estimativas de futuras tarefas serão distorcidas. Ter números permite que você (até certo ponto) normalize as estimativas.