PHP é o código do lado do servidor. Se você estiver armazenando qualquer tipo de dados persistentes, precisará usar uma linguagem do lado do servidor e um banco de dados. Não precisa ser PHP; Contudo. Você pode usar C #, Java, PHP, Python, JavaScript do lado do servidor, Ruby ou qualquer outro número de outras linguagens do lado do servidor.
Para o banco de dados, você pode usar o MySQL, o Postgres, o armazenamento de dados Python ou Java do Google App Engine, etc.
Mas, para responder à sua pergunta, você precisará armazenar a "chave" que associa seu usuário a seus dados e precisará armazenar todos os dados relacionados a esse usuário.