Faça com que falem sobre o que lhes interessa. Ainda não conheci um desenvolvedor que é realmente apaixonado quando fala sobre programação, mas não consegue codificar. Eles podem existir, é claro - e sua entrevista também deve verificar a competência -, mas a paixão é um bom indicador da minha experiência. (Note que isso não é o mesmo que ser capaz de "falar a conversa" em termos de chavões).
Pergunte-lhes o que não gostam na sua língua ou plataforma favorita. Como eles consertariam as coisas? O que eles gostariam de ver na próxima versão? Eles têm projetos de hobby? Se eles tiverem um blog, leia. Verifique sua presença on-line geral.