O bom código deve ser limpo, simples e fácil de entender antes de mais nada. Quanto mais simples e mais limpa ela é, menor a chance de insetos entrarem. Como Saint-Exupéry cunhou, "Perfeição é alcançada, não quando não há mais nada a acrescentar, mas quando não há mais nada para tirar."
Além disso, o código elegante geralmente é o resultado de uma análise cuidadosa do problema e da localização de um algoritmo e design que simplifica muito o código (e geralmente acelera também). Por exemplo. Pérolas de Programação mostra vários exemplos em que uma percepção obtida durante a análise deu um ângulo totalmente diferente de ataque, resultando em uma solução muito simples, elegante e curta.
Mostrar quão inteligente o autor é, só vem depois destes ;-) Micro-otimização de performance (como usar as operações bitwise que você menciona) deve ser usada somente quando é possível provar (com medições concretas) que o pedaço de código em questão é o gargalo, e que a mudança realmente melhora o desempenho (eu vi exemplos em contrário).