Problema com fluxo de dados muito grande!

[rafael cardoso developer 0]

Olá pessoal, saudações a todos!

Eu estou com um problema e não encontro uma solução perfeita, é o seguinte:

Estou desenvolvendo um aplicativo para o twitter que faz a análise dos seguidores, ou seja, todos os dias eu preciso atualizar os seguidores de todos os usuários do meu aplicativo, para poder dizer quem deixou e quem passou a segui-lo.

 

Agora vamos ao problema, supondo que o meu aplicativo tenha cerca de 1000 usuários cadastrados, cada um possui em média 400 seguidores. Se eu fosse atualizar tudo de uma vez só, isso iria tentar inserir no meu banco de dados (mysql) 400.000 registros de uma vez só, muito inviável não acham?

A solução que eu pensei foi agendar essa atualização para rodar de hora em hora (de 01:00 até as 23:00) com um limite de 100 usuários por vez, mas isso me traria outro problema porque eu iria estar pegando os dados de um dia que ainda está no começo, ou seja, o script iria rodar as 02:00 da manhã e gerar os seguidores que o usuários possui neste momento, mas no decorrer do dia ele pode ganhar ou perder muito mais seguidores, isso iria trazer inconssistência para a minha aplicação.

 

Esta é o meu problema, encontrar a solução mais viável.

[criatividade zero 17]

Agora vamos ao problema, supondo que o meu aplicativo tenha cerca de 1000 usuários cadastrados, cada um possui em média 400 seguidores. Se eu fosse atualizar tudo de uma vez só, isso iria tentar inserir no meu banco de dados (mysql) 400.000 registros de uma vez só, muito inviável não acham?

 

1. não vai inserir, vai apenas mudar o ststus caso haja alteração

2. um loop de 0 a 400.000 com certeza vai dar pau independente de alteração, remoção ou inserção, você terá que fazer me lotes

lote 1 - de 0 / 500

lote 2 - de 501 / 1000

lote 3 - de 1001 / 1500

...

 

o que vai influenciar é a logica do seu sistema