Ir para conteúdo

POWERED BY:

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

Lucas Guedes

Criar um integrador de informações

Recommended Posts

Boa tarde pessoal,

 

O objetivo deste tópico é para obter uma ajuda de como construir uma solução para resolver um problema específico da empresa do qual eu trabalho.

 

Eu escolhi python como base para criar este tópico mas não quero me prender a linguagens. Portanto, se vocês me disserem que PHP é melhor, ou ruby on rails, ou qualquer outra, estou totalmente disposto a dialogar. Eu entendo que o mais importante aqui é construir algo que não vá consumir muito tempo (portanto, acredito que a melhor linguagem é aquela que fornecerá o maior numero de recursos para resolver o problema) e que vá atender a demanda.

 

Pois bem, vamos ao que interessa.

 

Existem três departamentos específicos na empresa que trabalham com sistemas diferentes. Cada um deles exporta informações parecidas de formas diferentes (ambas .xlsx). O que não me dá valores iguais, apenas conteúdos parecidos. Por exemplo: (imagem anexada)

 

Além disso, temos um outro problema. Em uma das bases, temos registros duplicados, ou seja, existem dois ou mais registros que pertencem a mesma pessoa com dados diferentes.

 

A partir do ano que vem, eu preciso fornecer para o governo todos os pagamentos que eu fiz para essas pessoas. Portanto, eu preciso consolidar todas as informações existentes destes três sistemas em um lugar só para que, quando o governo solicitar, eu possa fornecer rapidamente, sem riscos de perder tempo consolidando essas informações.

 

Agora, a minha pergunta para vocês. Qual é o melhor caminho para criar uma plataforma onde eu possa consolidar essas informações e fornece-las através de uma simples busca? Como devo construi-la? Quais recursos usar? A ideia não é que vocês cosntruam uma solução pra mim, mas de fato me dizer, quais são as melhores opções que tenho para construi-la.

 

Eu entendo que os departamentos vão fornecer as planilhas, o papel de consolidar as informações que foram inputadas durante anos incorretamente, dependerá só de mim. Espero que vocês possam compartilhar um pouco da maturidade de vocês na área e me ajudar porque eu realmente estou preocupado com essa questão, uma vez que a regra do governo valerá a partir do ano que vem.

 

Desde já, sou muito grato.

 

Regards,

Lucas Guedes

 

 

imagem1.JPG

Compartilhar este post


Link para o post
Compartilhar em outros sites

No python você poderia usar as Bibliotecas:

- Pandas para tratar essas informações

Caso você não precise de uma interface, basta criar um bom notebook no jupyter-notebook.

Se for preciso criar uma interface, vale a pena dar uma olhada no Django.

 

Eu imagino que vale a pena o aprendizado, e existe muito material circulando na web.

 

 

http://felipegalvao.com.br/blog/2016/02/18/ciencia-de-dados-com-python-basico-do-pandas-leitura-de-dataframes/

 

https://medium.com/@kasiarachuta/reading-and-writingexcel-files-in-python-pandas-8f0da449cc48

 

 

 

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por ILR master
      Tudo bem pessoal?
       
      No código abaixo, estou fazendo uma consulta nas tabelas, banners e banners_referencia
      Meu objetivo é trazer resultados com valores iguais ao nome da cidade declarada na $cidade ou resultados com a referencia Total.
      O problema é que está trazendo todos os resultados. Tenho 10 linhas, 1 com o nome da cidade e duas com o valor Total, então o resultado teria que ser de apenas 3 linhas, mas mostra tudo.
       
      $banner = "SELECT A.*, B.* FROM banners A, banners_referencia B WHERE B.cod_referencia = A.cod_referencia AND A.cidade = '$cidade' OR B.referencia = 'Total' ORDER BY RAND()";
      $banner = mysqli_query($conexao, $banner) or die ("Banner não encontrado");
      while($busca= mysqli_fetch_array($banner)){
          print $busca['cidade'].'<br>';
      };
       
      Alguém consegue me ajudar?
    • Por Rafael_Ferreira
      Não consigo carregar a imagem do captcha do meu formulário. Foi testado com o xampp e easyphp. Também não carregou a imagem de outros captcha. 
       
       
    • Por luiz monteiro
      Olá, tudo bem?
       
      Estou melhorando meu conhecimento em php e mysql e, me deparei com o seguinte. A tabela da base de dados tem um campo do tipo varchar(8) o qual armazena números. Eu não posso alterar o tipo desse campo. O que preciso é fazer um select para retornar o números que contenham zeros a direita ou a esquerda.
      O que tentei até agora
       
      Ex1
      $busca = $conexao->prepare("select campo form tabela where (campo = :campo) ");
      $busca->bindParam('campo', $_REQUEST['campo_form']);
       
      Se a direita da string $_REQUEST['campo_form'] termina ou inicia com zero ou zeros, a busca retorna vazio.
      Inseri dados numéricos, da seguinte maneira para testar: 01234567;  12345670: 12345678: 12340000... entre outros nessa coluna. Todos os valores que não terminam ou não iniciam com zero ou zeros, o select funciona.
       
       
      Ex2
      $busca = $conexao->prepare("select campo form tabela where (campo = 0340000) ");
      Esse número está cadastrado, mas não retorna.
       
      Ex3
      $busca = $conexao->prepare("select campo form tabela where (campo = '02340001' ) ");
      Esse número está cadastrado, mas não retorna.
       
       
      Ex4
      $busca = $conexao->prepare("select campo form tabela where (campo like 2340000) ");
      Esse número está cadastrado, mas não retorna.
       
      Ex5
      $busca = $conexao->prepare("select campo form tabela where (campo like '12340000') ");
      Esse número está cadastrado, mas não retorna.
       
      Ex6
      $busca = $conexao->prepare("select campo form tabela where (campo like '"12340000"' ) ");
      Esse número está cadastrado, mas não retorna.
       
       
      Ex7
      $busca = $conexao->prepare("select campo form tabela where (campo like :campo) ");
      $busca->bindParam('campo', $_REQUEST['campo_form'])
      Não retorna dados.
       
      O  $_REQUEST['campo_form'] é envio via AJAX de um formulário. 
      Usei o gettype para verificar o post, e ele retorna string.
      Fiz uma busca com número 12345678 para verificar o que o select retorna, e também retrona como string.
       
      Esse tipo de varchar foi usado porque os números que serão gravados nesse campo,  terão zeros a direita ou na esquerda. Os tipos number do mysql não gravam zeros, então estou usando esse. O problema é a busca.
      Agradeço desde já.
       
       
    • Por daemon
      Boa tarde,
       
      Eu tenho uma rotina que faz uma leitura do arquivo .xml de vários sites.

      Eu consigo pegar o tópico e a descrição, e mostrar a imagem que esta na pagina do link.
      Para isso utilizo esta função:
      function getPreviewImage($url) { // Obter o conteúdo da página $html = file_get_contents($url); // Criar um novo objeto DOMDocument $doc = new DOMDocument(); @$doc->loadHTML($html); // Procurar pela tag meta og:image $tags = $doc->getElementsByTagName('meta'); foreach ($tags as $tag) { if ($tag->getAttribute('property') == 'og:image') { return $tag->getAttribute('content'); } } // Se não encontrar og:image, procurar pela primeira imagem na página $tags = $doc->getElementsByTagName('img'); if ($tags->length > 0) { return $tags->item(0)->getAttribute('src'); } // Se não encontrar nenhuma imagem, retornar null return null; } // Uso: $url = "https://example.com/article"; $imageUrl = getPreviewImage($url); if ($imageUrl) { echo "<img src='$imageUrl' alt='Preview'>"; } else { echo "Nenhuma imagem encontrada"; }  
      Mas estou com um problema, esta funcão funciona quando coloco em uma pagina de teste.php. Preciso mostrar em uma página inicial diversas fotos de todos os links. (No caso acima só funciona 1).
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.