Ir para conteúdo

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

Lucas Guedes

Criar um integrador de informações

Recommended Posts

Boa tarde pessoal,

 

O objetivo deste tópico é para obter uma ajuda de como construir uma solução para resolver um problema específico da empresa do qual eu trabalho.

 

Eu escolhi python como base para criar este tópico mas não quero me prender a linguagens. Portanto, se vocês me disserem que PHP é melhor, ou ruby on rails, ou qualquer outra, estou totalmente disposto a dialogar. Eu entendo que o mais importante aqui é construir algo que não vá consumir muito tempo (portanto, acredito que a melhor linguagem é aquela que fornecerá o maior numero de recursos para resolver o problema) e que vá atender a demanda.

 

Pois bem, vamos ao que interessa.

 

Existem três departamentos específicos na empresa que trabalham com sistemas diferentes. Cada um deles exporta informações parecidas de formas diferentes (ambas .xlsx). O que não me dá valores iguais, apenas conteúdos parecidos. Por exemplo: (imagem anexada)

 

Além disso, temos um outro problema. Em uma das bases, temos registros duplicados, ou seja, existem dois ou mais registros que pertencem a mesma pessoa com dados diferentes.

 

A partir do ano que vem, eu preciso fornecer para o governo todos os pagamentos que eu fiz para essas pessoas. Portanto, eu preciso consolidar todas as informações existentes destes três sistemas em um lugar só para que, quando o governo solicitar, eu possa fornecer rapidamente, sem riscos de perder tempo consolidando essas informações.

 

Agora, a minha pergunta para vocês. Qual é o melhor caminho para criar uma plataforma onde eu possa consolidar essas informações e fornece-las através de uma simples busca? Como devo construi-la? Quais recursos usar? A ideia não é que vocês cosntruam uma solução pra mim, mas de fato me dizer, quais são as melhores opções que tenho para construi-la.

 

Eu entendo que os departamentos vão fornecer as planilhas, o papel de consolidar as informações que foram inputadas durante anos incorretamente, dependerá só de mim. Espero que vocês possam compartilhar um pouco da maturidade de vocês na área e me ajudar porque eu realmente estou preocupado com essa questão, uma vez que a regra do governo valerá a partir do ano que vem.

 

Desde já, sou muito grato.

 

Regards,

Lucas Guedes

 

 

imagem1.JPG

Compartilhar este post


Link para o post
Compartilhar em outros sites

No python você poderia usar as Bibliotecas:

- Pandas para tratar essas informações

Caso você não precise de uma interface, basta criar um bom notebook no jupyter-notebook.

Se for preciso criar uma interface, vale a pena dar uma olhada no Django.

 

Eu imagino que vale a pena o aprendizado, e existe muito material circulando na web.

 

 

http://felipegalvao.com.br/blog/2016/02/18/ciencia-de-dados-com-python-basico-do-pandas-leitura-de-dataframes/

 

https://medium.com/@kasiarachuta/reading-and-writingexcel-files-in-python-pandas-8f0da449cc48

 

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por LuizH.M
      from urllib.request import urlopen   response = urlopen("http://vimeo.com/api/v2/video/57733101.json").read().decode('utf8') dados = json.loads(response)[0] print(dados)   print('Titulo: ',dados['title']) print('URL: ',dados['url']) print('Duração',dados['duration'])     a parte do json fala que não está definida   me ajudem pls    estou usando o visual studio
       
    • Por landerbadi
      Boa tarde pessoal. Estou tentado fazer uma consulta no banco de dados porém estou tendo dificuldades. Tenho uma tabela chamada "itens" com os seguintes campos: id, item, ativo. Nela tem cadastrado vários itens. No campo ativo eu coloco a letra "S" para informar que este item está ativo no sistema. Por exemplo: 1, casa, S 2, mesa, S 3, cama, S 4, moto S 5, rádio O quinto registro "radio" não está ativo no sistema pois não tem um "S" no campo ativo. E outra tabela chamada "produtos" com os seguintes campos (id, item1, item2, item3) com os seguintes registros: 1, casa, mesa, moto 2, mesa, casa, cama 3, rádio, cama, mesa Eu preciso fazer uma busca na tabela produtos da seguinte maneira: Eu escolho um registro na tabela "itens", por exemplo "mesa". Preciso fazer com que o php me liste todos os registros da tabela "produtos" que contenham a palavra "mesa". Até aqui tudo bem eu consigo listar. Estou fazendo assim: <?php $item = "mesa" $sql = mysqli_query($conn, "SELECT * FROM produtos WHERE item1 LIKE '$item' OR item2 LIKE '$item' OR item3 LIKE '$item' LIMIT 10"); while($aux = mysqli_fetch_assoc($sql)) { $id = $aux["id"]; $item1 = $aux["item1"]; $item2 = $aux["item2"]; $item3 = $aux["item3"]; echo $id . " - " . $item1 . ", " . $item2 . ", " $item3 . "<br>"; } ?> O problema é que está listando todos os registros que contém o item mesa. Eu preciso que o php verifique os demais item e me liste somente os registro em que todos os registros estejam ativos no sistema. No exemplo acima ele não deveria listar o registro 3. pois nesse registro contém o item "radio" e este item não está ativo no sistema. Ou seja, o registro "radio" na tabela itens não possui um "S" na coluna "ativo". Alguém sabe como resolver isso?
    • Por ILR master
      Fala galera.
      Espero que todos estejam bem.
      Seguinte: Tenho um arquivo xml onde alguns campos estão com : (dois pontos), como o exemplo abaixo:
       
      <item>
      <title>
      d sa dsad sad sadasdas
      </title>
      <link>
      dsadas dsa sad asd as dsada
      </link>
      <pubDate>sadasdasdsa as</pubDate>
      <dc:creator>
      d sad sad sa ad as das
      </dc:creator>
      </item>
       
      Meu código:
       
      $link = "noticias.xml"; 
      $xml = simplexml_load_file($link); 
      foreach($xml -> channel as $ite) {     
           $titulo = $ite -> item->title;
           $urltitulo = $ite -> item->link;
           print $urltitulo = $ite -> item->dc:creator;
      } //fim do foreach
      ?>
       
      Esse campo dc:creator eu não consigo ler. Como faço?
       
      Agradeço quem puder me ajudar.
       
      Abs
       
       
    • Por First
      Olá a todos!
       
      Eu estou criando um sistema do zero mas estou encontnrando algumas dificuldades e não estou sabendo resolver, então vim recorrer ajuda de vocês.
      Aqui está todo o meu código: https://github.com/PauloJagata/aprendizado/
       
      Eu fiz um sistema de rotas mas só mostra o conteúdo da '/' não sei porque, quando eu tento acessar o register nada muda.
      E eu também quero que se não estiver liberado na rota mostra o erro de 404, mas quando eu tento acessar um link inválido, nada acontece.
      Alguém pode me ajudar com isso? E se tiver algumas sugestão para melhoria do código também estou aceitando.
       
       
      Desde já, obrigado.
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.