De acordo com a Microsoft ( link )
The body of the get accessor resembles that of a method. It must return a value of the property type. The execution of the get accessor is equivalent to reading the value of the field. For example, when you are returning the private variable from the get accessor and optimizations are enabled, the call to the get accessor method is inlined by the compiler so there is no method-call overhead. However, a virtual get accessor method cannot be inlined because the compiler does not know at compile-time which method may actually be called at run time.
Então, de acordo com isso, parece que a resposta é não. Este parágrafo parece implicitamente prová-lo, não diferenciando o acesso interno e externo. Se houvesse uma diferença, teria que ser mencionado aqui.
No entanto, no seu exemplo, eu diria que há um efeito colateral de desempenho indesejado que resulta de como você escolheu apresentar esse problema para nós. Se você limitar a pergunta a apenas perguntar sobre o acesso à propriedade sem referência a como o problema está configurado, eu diria que o parágrafo acima prova uma resposta negativa.
Desde que você incluiu um contexto situacional, eu diria que há uma pequena diferença de desempenho. Não é por causa do acesso à propriedade, mas é devido ao fato de que você está adicionando outra referência ao objeto através do argumento.