Estrutura de armazenamento do youtube

[renelunna 0]

Olá,

Muito bom o trabalho desse fórum.

Aproveitando o conhecimento alheio e a vasta quantidade de usuários do site, gostaria de pedir que me auxiliassem em uma questão.

Estou trabalhando em uma idéia de rede social(Como outro milhar de brasileiros) mas acredito muito na inovação da minha proposta. O projeto está iniciado e o objetivo (claro) é que seja bem ampla a base de usuários.

Em termos gerais teríamos muitos usuários, gerando e armazenando conteúdo de video no site. Minha pergunta é:

 

Como, em termos bem claros funciona a estrutura de armazenamento de um site como o youtube por exemplo. Mais especificamente, quando o usuário cria uma conta existe uma estrutura de pastas e subpastas que guardam o conteúdo específico gerado por esse usuário ou tudo está em recipientes comuns? Pensemos a resposta usando apenas um servidor de testes, como seria essa estrutura?

 

Ou quais seriam as opções de estruturar e gerir esse conteúdo?

 

Obrigado.

[Vinicius Ianni 189]

Para o usuário a forma como isso é armazenado é totalmente irrelevante, o que interessa para ele é, ao logar, ter acesso de forma rápida aos seus videos enviados.

 

Para quem está fornecendo esse serviço, tem de ser da forma mais economica possivel, seja usando codecs que permitem maior compactação sem perda de qualidade (audio e video), bancos de dados configurados de forma otimizada e em redundancia, e latencia extremamente baixa.

 

Se vai armazenar os videos numa estrutura de pastas e subpastas baseadas no nome do usuário, se os videos serão armazenados numa unica pasta sendo relacionados com os usuários por algum tipo de identificador unico, e etc..., tudo dependerá de como estão formatadas as regras de negócio.

 

E o servidor de testes simplesmente será um reflexo dessas regras.

Se ele não estiver bem organizado e estruturado, é sinal que as regras estão do mesmo jeito. ;)

[renelunna 0]

Para o usuário a forma como isso é armazenado é totalmente irrelevante, o que interessa para ele é, ao logar, ter acesso de forma rápida aos seus videos enviados.

 

Para quem está fornecendo esse serviço, tem de ser da forma mais economica possivel, seja usando codecs que permitem maior compactação sem perda de qualidade (audio e video), bancos de dados configurados de forma otimizada e em redundancia, e latencia extremamente baixa.

 

Se vai armazenar os videos numa estrutura de pastas e subpastas baseadas no nome do usuário, se os videos serão armazenados numa unica pasta sendo relacionados com os usuários por algum tipo de identificador unico, e etc..., tudo dependerá de como estão formatadas as regras de negócio.

 

E o servidor de testes simplesmente será um reflexo dessas regras.

Se ele não estiver bem organizado e estruturado, é sinal que as regras estão do mesmo jeito. ;)

 

Olá Vinicius,

 

Todas essas premissas estão consideradas. Lógico que temos que baratear o custo, fornecer uma latência mínima possível para melhor experiência do usuário e compactar os vídeos em um formato e tamanho que sejam padronizados. Porém a pergunta segue sem resposta.

Como o youtube faz essa estrutura?

é isso que gostaria de saber. Como funciona lá dentro? Se possível uma explicação simples e ordenada de alguém que conheça o funcionamento interno desse estruturamento.

 

Obrigado por responder =D

 

 

Mais alguém se habilita a dar uma força na pergunta?

 

 

 

 

 

 

[Vinicius Ianni 189]

Acho dificil achar alguem que responda da forma como deseja, pois o que andei vendo e pesquisando é muito vago e pouco esclarecedor.

 

O maximo que encontrará será aquelas fotos de inumeros servidores dos data centers do google, com legendas dizendo que destroem os hd's quando não podem mais ser utilizados, que se preocupam com o consumo de energia e blá blá blá.....

 

Talvez, você ache a informação que deseja não diretamente do youtube, mas de serviços similares como o vimeo, netflix e outros.

[renelunna 0]

Acho dificil achar alguem que responda da forma como deseja, pois o que andei vendo e pesquisando é muito vago e pouco esclarecedor.

 

O maximo que encontrará será aquelas fotos de inumeros servidores dos data centers do google, com legendas dizendo que destroem os hd's quando não podem mais ser utilizados, que se preocupam com o consumo de energia e blá blá blá.....

 

Talvez, você ache a informação que deseja não diretamente do youtube, mas de serviços similares como o vimeo, netflix e outros.

Olá Vinicius.

Realmente em toda a minha extensa pesquisa sobre o assunto só encontrei esses exemplos que você citou acima. Eu citei o youtube como exemplo ideal, mas também não consegui melhores resultados pesquisando sobre o Vimeo ou Netflix.

Também acho difícil que algum saiba a resposta, porém, se há um lugar na internet em que alguém pode saber e responder, definitivamente é aqui nesse fórum.

 

Agradeço mais uma vez a interação e sigo esperando uma luz na questão.

 

Muito obrigado. =D

[Vinicius Ianni 189]

Verificou os links que postei ?

São dos blogs dessas empresas e pelo menos a do netflix, pode ter alguma informação que vá de encontro ao que está procurando.

O caso da netflix se não me engano, eles usam a nuvem da amazon como parte de sua infraestrutura.

[hargon 64]

É difícil responder sobre estruturas de pastas porque nunca li nada a respeito (se é que está disponível), o que posso responder é com base em observações. Se você procurar um pouco no YouTube verá que tem arquivos de imagens em vários subdomínios, existem vídeos em vários subdomínios e muitas vezes esses subdomínios significam apontamento para servidores distintos.

 

No geral a criação da estrutura de pastas deve ser bem planejada pois acredito que além da organização, facilita para varredura dos arquivos, até porque vale lembrar que além de hospedar, também é de sua responsabilidade identificar vídeos impróprios e removê-los, e essa verificação é feita por software (um bastante conhecido é o Microsoft PhotoDNA, utilizado pelo Facebook).

[renelunna 0]

É difícil responder sobre estruturas de pastas porque nunca li nada a respeito (se é que está disponível), o que posso responder é com base em observações. Se você procurar um pouco no YouTube verá que tem arquivos de imagens em vários subdomínios, existem vídeos em vários subdomínios e muitas vezes esses subdomínios significam apontamento para servidores distintos.

 

No geral a criação da estrutura de pastas deve ser bem planejada pois acredito que além da organização, facilita para varredura dos arquivos, até porque vale lembrar que além de hospedar, também é de sua responsabilidade identificar vídeos impróprios e removê-los, e essa verificação é feita por software (um bastante conhecido é o Microsoft PhotoDNA, utilizado pelo Facebook).

Obrigado Hargon!

Vou dar uma olhada nesse software e ver como pode me ajudar nisso. A priori faremos tudo em um servidor de testes, porém como você disse isso deve ser planejado já prevendo o escalonamento do serviço. Agradeço demais a partilha do conhecimento. =D