Criar um integrador de informações

Boa tarde pessoal,

O objetivo deste tópico é para obter uma ajuda de como construir uma solução para resolver um problema específico da empresa do qual eu trabalho.

Eu escolhi python como base para criar este tópico mas não quero me prender a linguagens. Portanto, se vocês me disserem que PHP é melhor, ou ruby on rails, ou qualquer outra, estou totalmente disposto a dialogar. Eu entendo que o mais importante aqui é construir algo que não vá consumir muito tempo (portanto, acredito que a melhor linguagem é aquela que fornecerá o maior numero de recursos para resolver o problema) e que vá atender a demanda.

Pois bem, vamos ao que interessa.

Existem três departamentos específicos na empresa que trabalham com sistemas diferentes. Cada um deles exporta informações parecidas de formas diferentes (ambas .xlsx). O que não me dá valores iguais, apenas conteúdos parecidos. Por exemplo: (imagem anexada)

Além disso, temos um outro problema. Em uma das bases, temos registros duplicados, ou seja, existem dois ou mais registros que pertencem a mesma pessoa com dados diferentes.

A partir do ano que vem, eu preciso fornecer para o governo todos os pagamentos que eu fiz para essas pessoas. Portanto, eu preciso consolidar todas as informações existentes destes três sistemas em um lugar só para que, quando o governo solicitar, eu possa fornecer rapidamente, sem riscos de perder tempo consolidando essas informações.

Agora, a minha pergunta para vocês. Qual é o melhor caminho para criar uma plataforma onde eu possa consolidar essas informações e fornece-las através de uma simples busca? Como devo construi-la? Quais recursos usar? A ideia não é que vocês cosntruam uma solução pra mim, mas de fato me dizer, quais são as melhores opções que tenho para construi-la.

Eu entendo que os departamentos vão fornecer as planilhas, o papel de consolidar as informações que foram inputadas durante anos incorretamente, dependerá só de mim. Espero que vocês possam compartilhar um pouco da maturidade de vocês na área e me ajudar porque eu realmente estou preocupado com essa questão, uma vez que a regra do governo valerá a partir do ano que vem.

Desde já, sou muito grato.

Regards,

Lucas Guedes