Aparentemente, ele usa um quicksort estável.
Isso foi verificado usando o refletor.
Veja: link
Estou um pouco curioso sobre qual algoritmo de ordenação está usando OrderBy (linq para objetos). ordenação rápida? heapsort? tipo introspectivo?
Como eu vejo na documentação MSDN, List.Sort está usando classificação introspectiva: consulte: link
Talvez o OrderBy use o mesmo?
Se formos encomendar por documetation, não vejo muita informação: link