Estou enviando grandes quantidades de dados de forma sensata?

Eu usaria servidores autônomos. Cada servidor hospeda o frontend de upload, o codificador e o serviço de download. Dessa forma, você não precisa transferir arquivos. Para escalar, basta adicionar mais servidores - parece que você não tem nenhum obstáculo fazendo isso.

Pesquise se você pode transmitir o processo; começar a codificar o arquivo enquanto ele ainda estiver carregando, faça o download do resultado enquanto ele ainda estiver sendo codificado. Isso não reduzirá o custo de nenhuma das operações, mas o usuário final perceberá um benefício significativo.

Ofereça alternativas ao upload HTTP se seus arquivos forem grandes. Se o upload parar por qualquer motivo, o usuário deve reiniciar o upload do zero.

Em vez de enviar os arquivos para os servidores, sugiro que você use uma partição no servidor que esteja montada em todos os servidores. Portanto, não precisamos mover o arquivo.

"A página da web para upload de vídeo" carregará o vídeo no servidor da web. É assim que o HTTPS e um formulário HTML com um arquivo de upload funciona. Certifique-se de definir corretamente o tipo de conteúdo em sua tag de formulário para um arquivo. Você não pode enviar outros parâmetros para o servidor com a mesma solicitação que um upload de arquivo devido ao mesmo parâmetro de tipo de conteúdo. Um grande problema pode ser pessoas com arquivos grandes e / ou internet lenta que mantêm sua conexão HTTP aberta por 15 minutos ou mais. Os provedores da maioria das pessoas têm uma taxa máxima de upload de 500 Kbps (bits / s, não bytes / s) ou algo muito baixo assim. Conexões longas fazem de você um alvo para ataques DOS.

Se você quiser que o arquivo termine em algum lugar diferente do seu servidor web, você estará escrevendo código no lado do servidor. Seu aplicativo da web terá que canalizar / transmitir para esse local diferente.

O FTP é um pouco mais rápido que o HTTP, talvez 5-10% no máximo, mas acho que minha experiência mostra que ele está mais próximo de 1%. O FTP pode ser melhor para transferir 2 ou mais arquivos ao mesmo tempo, não sei. Eu acho que todos os navegadores modernos suportam FTP nativamente, assim como HTTP. Para usar outro protocolo como alguém sugeriu, você precisa do código do lado do servidor. Eu usaria HTTP para o seu primeiro passe.

Alguém levantou um bom ponto sobre a criptografia. Você quer que alguém envie um vídeo confidencial ou não público. Isso vai desacelerar um pouco as coisas, mas provavelmente não muito. HTTPS com um certificado do lado do servidor cuidará disso se você precisar.

Ao transferir arquivos grandes, você precisa usar um protocolo que garanta que eles não sejam usados pelo destinatário até que a cópia seja concluída. Talvez você toque em outro arquivo ou envie uma mensagem "all-done transferting myFile2321.avi". Compactar arquivos grandes e descompactá-los depois da transferência é geralmente mais rápido do que copiá-los pela rede ou pela Internet. Se você pagar pela banda, pode ser mais barato também.

Então, apesar de tudo, esses são alguns detalhes para pensar e algumas sugestões. Não vejo nada de errado com o seu plano geral. Veja como o YouTube faz isso, porque acho que eles já fazem tudo o que você está planejando, apenas em um contexto diferente ou por um motivo diferente.

Outra opção: considere o uso de uma área de armazenamento compartilhado, que todos os servidores podem acessar.

Para isso, você precisaria usar um sistema de arquivos distribuídos . Existem vários para escolher (NFS, SMB, etc.) - qual deles é o melhor seria outra pergunta: -).

É claro que, se você usar essa rota, tome cuidado para ter algum mecanismo de bloqueio para evitar que dois servidores trabalhem no mesmo arquivo.