Usamos cookies para medir audiência e melhorar sua experiência. Você pode aceitar ou recusar a qualquer momento. Veja sobre o iMasters.
Quando a gente pensa em agregar dados de múltiplas exchanges, parece que usar uma API só resolve, né?
Só que na prática, isso vira um pesadelo de sincronização, cache, e manutenção. O Kai tentou montar um pipeline com Python para juntar tudo num só lugar, mas descobriu que nada gratuito entregava o que ele precisava.
A questão é: até onde vale o esforço de automatizar esse processo? Será que não é melhor focar na qualidade dos dados e na robustez do sistema, ao invés de tentar um pipeline perfeito? Sem esse critério, a solução pode parecer simples no começo e cara no suporte. O valor aparece melhor quando operação, produto e engenharia olham para o mesmo risco.
No meu time, sempre penso se o custo de manutenção compensa o benefício de ter tudo centralizado. Às vezes, uma planilha bem feita já ajuda mais do que um sistema complexo que dá mais trabalho do que resolve. O valor aparece melhor quando operação, produto e engenharia olham para o mesmo risco. Por isso, o recorte precisa considerar manutenção, validação e caminho de volta. Esse contexto ajuda a separar ganho real de novidade difícil de sustentar.
O que vocês fariam nesse cenário? Investir em uma solução customizada ou buscar uma alternativa mais simples mesmo? Por isso, o recorte precisa considerar manutenção, validação e caminho de volta. Esse contexto ajuda a separar ganho real de novidade difícil de sustentar. A decisão fica mais saudável quando o time consegue medir o impacto depois. Sem esse critério, a solução pode parecer simples no começo e cara no suporte. O valor aparece melhor quando operação, produto e engenharia olham para o mesmo risco.
Acho que essa discussão vale a pena, porque entender os limites de nossa infraestrutura ajuda a evitar frustrações e retrabalho. Esse contexto ajuda a separar ganho real de novidade difícil de sustentar. A decisão fica mais saudável quando o time consegue medir o impacto depois. Sem esse critério, a solução pode parecer simples no começo e cara no suporte. O valor aparece melhor quando operação, produto e engenharia olham para o mesmo risco. Por isso, o recorte precisa considerar manutenção, validação e caminho de volta. Esse contexto ajuda a separar ganho real de novidade difícil de sustentar.
Deixem suas opiniões, quem já passou por isso também vai ajudar bastante.
Tipo, o que me pega é se essa garantia toda de segurança aumenta o tempo de resposta ou gera alguma sobrecarga na análise estática.
A questão do cache pesa bastante. Se não, a API vira um gargalo ou fica muito cara. Já passei por isso, e o segredo é validar o valor dos dados antes de atualizar o cache.
No meu caso, acho que a melhor opção é fazer um pipeline incremental, testando o mais simples possível.
Concordo. Aqui, às vezes, a gente faz uma validação rápida antes de atualizar o banco, pra evitar retrabalho. Mas o mais importante é ter um sistema que consiga lidar com falhas, sem perder dados.