Como detectar a codificação de um arquivo?

Os arquivos geralmente indicam sua codificação com um cabeçalho de arquivo. Existem muitos exemplos aqui . No entanto, mesmo lendo o cabeçalho você nunca pode ter certeza de qual codificação um arquivo está realmente usando .

Por exemplo, um arquivo com os primeiros três bytes 0xEF,0xBB,0xBF é provavelmente um arquivo codificado em UTF-8. No entanto, pode ser um arquivo ISO-8859-1 que comece com os caracteres  . Ou pode ser um tipo de arquivo totalmente diferente.

O Notepad ++ faz o possível para adivinhar qual codificação um arquivo está usando e, na maioria das vezes, acerta. Às vezes, é errado - é por isso que o menu 'Encoding' está lá, então você pode substituir seu melhor palpite.

Para as duas codificações que você mencionou:

• Os arquivos "UCS-2 Little Endian" são arquivos UTF-16 (com base no que eu entendi da informação aqui ) então provavelmente começa com 0xFF,0xFE como os primeiros 2 bytes. Pelo que eu posso dizer, o Notepad ++ os descreve como "UCS-2", uma vez que não suporta certas facetas do UTF-16.
• Os arquivos "UTF-8 sem BOM" não possuem bytes de cabeçalho. Isso é o que significa o bit "sem BOM".

Você não pode. Se você pudesse fazer isso, não haveria tantos sites ou arquivos de texto com “rabiscos aleatórios” por aí. É por isso que a codificação é geralmente enviada junto com a carga útil como metadados.

Caso não seja, tudo que você pode fazer é um "palpite inteligente", mas o resultado é geralmente ambíguo, já que a mesma seqüência de bytes pode ser válida em várias codificações.