Ir para conteúdo

POWERED BY:

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

fernando25

Order By + Limit em tabela com muitos registros e vários Left Joins

Recommended Posts

Boa noite Pessoal, pesquisei e não encontrei nada que poderia me ajudar até agora aqui no fórum. É o seguinte tenho várias tabelas relacionais e duas delas tem algumas centenas de registros e preciso ordenar e limitar para que a paginação funcione bem, mas, assim que coloco para fazer a ordenação que não seja pelo campo ID dá tabela a consulta demora e as vezes nem executa, alguma ideia? Pesquisei na internet e em vários fóruns, alguns me falaram para fazer inner joins, adicionar INDEXES na consulta entre outras soluções que tentei e não resolveu.

Desde já agradeço a todos aqui do fórum!!

Compartilhar este post


Link para o post
Compartilhar em outros sites

Publique as tabelas em questao e como você quer o resultado.

Compartilhar este post


Link para o post
Compartilhar em outros sites

Seguinte são 8 tabelas relacionadas, vou colocar primeiro o select e depois vou colocar as tabelas com mais ou menos a quantidade de registros de cada uma.

SELECT 
`c`.`id` as `idcontatos`, `sc`.`status` as `statuscontato`,
 `sn`.`status` as `statusnegociacao`, `p`.`projeto`,
 `sg`.`segmento`, `ps`.`profissao`, `l`.`id` as `idleads`,
 `l`.`telefone1` as `telefone1`, `l`.`telefone2` as `telefone2`,
 `l`.`telefone3` as `telefone3`, `l`.`telefone4` as `telefone4`,
 `l`.`telefone5` as `telefone5`, `l`.`email` as `email`, 
`us`.`nome` as `consultor`, `l`.`nome` as `nomelead`,
 `l`.`empresa` as `empresa`, `l`.`tipopessoa`, `c`.`datacontato`,
 `c`.`dataatualizacao`, `c`.`dataretorno` as `dataretornoagendado`,
 `c`.`horaretornoagendado`
 FROM `lead` `l`
 LEFT JOIN `contatos` `c` ON `c`.`idlead` = `l`.`id` 
 LEFT JOIN `statuscontato` `sc` ON `sc`.`id` = `c`.`idstatuscontato` 
 LEFT JOIN `statusnegociacao` `sn` ON `sn`.`id` = `c`.`idstatusnegociacao` 
 LEFT JOIN `usuarios` `us` ON `us`.`id` = `c`.`idusuarios` 
 LEFT JOIN `projetos` `p` ON `p`.`id` = `l`.`idprojetos` 
 LEFT JOIN `profissoes` `ps` ON `ps`.`id` = `l`.`idprofissoes` 
 LEFT JOIN `segmentos` `sg` ON `sg`.`id` = `l`.`idsegmentos` 
 ORDER BY `l`.`nome` LIMIT 41000,40

As tabelas principais são Lead (cerca de 63 mil registros) e Contatos (cerca de 70 mil registros):

Tabela Lead:

CREATE TABLE `lead` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `idprofissoes` int(11) DEFAULT NULL,
  `idprojetos` int(11) DEFAULT NULL,
  `idsegmentos` int(11) DEFAULT NULL,
  `nome` varchar(255) DEFAULT NULL,
  `empresa` varchar(255) DEFAULT NULL,
  `telefone1` varchar(25) NOT NULL,
  `telefone2` varchar(25) DEFAULT NULL,
  `Telefone3` varchar(25) DEFAULT NULL,
  `telefone4` varchar(25) DEFAULT NULL,
  `telefone5` varchar(25) DEFAULT NULL,
  `tipopessoa` enum('F','J') DEFAULT NULL,
  `endereco` varchar(255) DEFAULT NULL,
  `numero` varchar(10) DEFAULT NULL,
  `complemento` varchar(255) DEFAULT NULL,
  `bairro` varchar(200) DEFAULT NULL,
  `cidade` varchar(200) DEFAULT NULL,
  `estado` varchar(2) DEFAULT NULL,
  `cep` varchar(22) DEFAULT NULL,
  `email` varchar(150) DEFAULT NULL,
  `observacoes` longtext,
  `dataregistro` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `Telefone1_UNIQUE` (`telefone1`),
  KEY `fk_Lead_Profissoes1` (`idprofissoes`),
  KEY `fk_Lead_Projetos1` (`idprojetos`),
  KEY `fk_Lead_Segmentos1` (`idsegmentos`),
  KEY `nome_idx` (`nome`),
  CONSTRAINT `fk_Lead_Profissoes1` FOREIGN KEY (`idprofissoes`) REFERENCES `profissoes` (`id`) ON DELETE SET NULL ON UPDATE NO ACTION,
  CONSTRAINT `fk_Lead_Projetos1` FOREIGN KEY (`idprojetos`) REFERENCES `projetos` (`id`) ON DELETE SET NULL ON UPDATE SET NULL,
  CONSTRAINT `fk_Lead_Segmentos1` FOREIGN KEY (`idsegmentos`) REFERENCES `segmentos` (`id`) ON DELETE SET NULL ON UPDATE CASCADE
) ENGINE=InnoDB AUTO_INCREMENT=70410 DEFAULT CHARSET=latin1;

Tabela Contatos:

CREATE TABLE `contatos` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `idstatuscontato` int(11) DEFAULT '0' COMMENT 'Status do Contato.',
  `idstatusnegociacao` int(11) DEFAULT '0' COMMENT 'Status Da Negociação',
  `idusuarios` int(11) DEFAULT NULL COMMENT 'Corretor que fez o contato.',
  `idlead` int(11) DEFAULT NULL,
  `datacontato` date DEFAULT NULL,
  `historicoretornoefetuados` varchar(255) DEFAULT NULL,
  `dataretorno` date DEFAULT NULL,
  `dataregistro` datetime DEFAULT NULL,
  `dataregistroatualizacao` datetime DEFAULT NULL,
  `observacoes` longtext,
  `horaretornoagendado` varchar(5) DEFAULT NULL,
  `datadisponibilizacao` date DEFAULT NULL,
  `dataatualizacao` date DEFAULT NULL,
  `idplanos` int(11) DEFAULT NULL,
  `valorplano` float(10,2) DEFAULT '0.00',
  `devolucao` int(11) DEFAULT '0',
  `planospreferenciais` int(11) DEFAULT NULL,
  `planospreferenciais1` int(11) DEFAULT NULL,
  `planospreferenciais2` int(11) DEFAULT NULL,
  `hospitaispreferenciais` int(11) DEFAULT NULL,
  `hospitaispreferenciais1` int(11) DEFAULT NULL,
  `hospitaispreferenciais2` int(11) DEFAULT NULL,
  `motivoprocura` varchar(255) DEFAULT NULL,
  `templano` int(11) DEFAULT NULL,
  `templanoanos` int(11) DEFAULT NULL,
  `templanomeses` int(11) DEFAULT NULL,
  `motivotroca` varchar(200) DEFAULT NULL,
  `acomodacao` enum('E','A','D') DEFAULT NULL,
  `tipoplano` enum('C','S','A') DEFAULT NULL,
  `atendimento` enum('R','N','A') DEFAULT NULL,
  `planoodontologico` enum('S','N') DEFAULT NULL,
  `empresarialpercentual` int(11) DEFAULT NULL,
  `empresarialoutracidade` varchar(50) DEFAULT NULL,
  `faixaetariade0a18` int(11) DEFAULT NULL,
  `faixaetariade19a23` int(11) DEFAULT NULL,
  `faixaetariade24a28` int(11) DEFAULT NULL,
  `faixaetariade29a33` int(11) DEFAULT NULL,
  `faixaetariade34a38` int(11) DEFAULT NULL,
  `faixaetariade39a43` int(11) DEFAULT NULL,
  `faixaetariade44a48` int(11) DEFAULT NULL,
  `faixaetariade49a53` int(11) DEFAULT NULL,
  `faixaetariade54a58` int(11) DEFAULT NULL,
  `faixaetariaacima58` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `fk_Contatos_StatusContato1` (`idstatuscontato`),
  KEY `fk_Contatos_StatusNegociacao1` (`idstatusnegociacao`),
  KEY `fk_Contatos_Lead1` (`idlead`),
  KEY `fk_Contatos_Usuarios1_idx` (`idusuarios`),
  KEY `fk_Contatos_Hospitais1_idx` (`hospitaispreferenciais`),
  KEY `fk_Contatos_Hospitais2_idx` (`hospitaispreferenciais1`),
  KEY `fk_Contatos_Hospitais3_idx` (`hospitaispreferenciais2`),
  KEY `fk_Contatos_Planos1_idx` (`planospreferenciais`),
  KEY `fk_Contatos_Planos2_idx` (`planospreferenciais1`),
  KEY `fk_Contatos_Planos3_idx` (`planospreferenciais2`),
  KEY `fk_contatos_idplanos1_idx` (`idplanos`),
  CONSTRAINT `fk_Contatos_Hospitais1` FOREIGN KEY (`hospitaispreferenciais`) REFERENCES `hospitais` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Hospitais2` FOREIGN KEY (`hospitaispreferenciais1`) REFERENCES `hospitais` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Hospitais3` FOREIGN KEY (`hospitaispreferenciais2`) REFERENCES `hospitais` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Lead1` FOREIGN KEY (`idlead`) REFERENCES `lead` (`id`) ON DELETE CASCADE ON UPDATE SET NULL,
  CONSTRAINT `fk_Contatos_Planos1` FOREIGN KEY (`planospreferenciais`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Planos2` FOREIGN KEY (`planospreferenciais1`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Planos3` FOREIGN KEY (`planospreferenciais2`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_StatusContato1` FOREIGN KEY (`idstatuscontato`) REFERENCES `statuscontato` (`id`) ON DELETE SET NULL ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_StatusNeg1` FOREIGN KEY (`idstatusnegociacao`) REFERENCES `statusnegociacao` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Usuarios1` FOREIGN KEY (`idusuarios`) REFERENCES `usuarios` (`id`) ON DELETE SET NULL ON UPDATE NO ACTION,
  CONSTRAINT `fk_contatos_idplanos1` FOREIGN KEY (`idplanos`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE
) ENGINE=InnoDB AUTO_INCREMENT=74594 DEFAULT CHARSET=latin1;

Acho que consigo dá pra analisar oque eu devo estar fazendo de errado, não conheço nada avançado em questão de banco de dados, em outras palavras o banco deve estar bem mal feito.

Desde já agradeço a todos que puderem me orientar e me ajudar.

Compartilhar este post


Link para o post
Compartilhar em outros sites

Em geral estas soluções não são simples mas :

0) Faça o explain plain da sql

1) Verifique se todos as colunas que relacionam as tabelas estão sendo usadas

2) Todos os índices que poderiam ajudar foram criados

3) As estatisticas de BD estão atualizadas

4) o sql não está fazendo join desnecessarios

5) Um índice pelo lead.nome pode ser util

Compartilhar este post


Link para o post
Compartilhar em outros sites

Motta muito obrigado viu pela ajuda até agora, dei uma pequena pesquisada e arranjei um jeito de resolver a questão do tempo, mas, não sei se é o ideal, gostaria da sua opinião se está correto:

select
 c.id as idcontatos,
 sc.status as statuscontato,
 sn.status as statusnegociacao,
 p.projeto, sg.segmento, 
ps.profissao,
 le.id as idleads,
 le.telefone1 as telefone1,
 le.telefone2 as telefone2,
 le.telefone3 as telefone3,
 le.telefone4 as telefone4,
 le.telefone5 as telefone5,
 le.quemcadastro as quemcadastrou,
 le.email as email,
 us.nome as consultor,
 le.nome as nomelead,
 le.empresa as empresa,
 le.tipopessoa, 
c.datacontato, 
c.dataatualizacao, c.dataregistro,
 c.dataretorno as dataretornoagendado, c.horaretornoagendado from
 (select l.id from lead l order by l.nome  LIMIT 30000,1000) l
join lead le on le.id = l.id
left join contatos c on 
le.id = c.idlead
left join statuscontato sc on
c.idstatuscontato = sc.id
 LEFT JOIN statusnegociacao sn ON sn.id = c.idstatusnegociacao
 LEFT JOIN usuarios us ON us.id = c.idusuarios 
LEFT JOIN projetos p ON p.id = le.idprojetos
 LEFT JOIN profissoes ps ON ps.id = le.idprofissoes 
LEFT JOIN segmentos sg ON sg.id = le.idsegmentos 
order by sc.status

Pois, para mim está parecendo algum tipo de "POG", rs, literalmente orientado a gambiarras rs, muito obrigado!!

Compartilhar este post


Link para o post
Compartilhar em outros sites

Este from sobre um subselect parece estranho à principio mas se resolveu o problema da ordenação é uma saída válida , só documente o motivo.

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por douglas79
      Bom dia,

      Há alguns dias que venho instalar o apache, o php, mysql e o phpmyadmin manualmente e sem obter sucesso. Até consegui rodar o php, porém, quando vou baixar a úitima versão do MYSQL, não tem todos os pacotes nele instalados, inclusive no completo, só encontro o Router.
      Alguém pode me dizer o porquê que isso está ocorrendo?
      Desde já agradeço a ajuda de vocês, que será bem vinda!
      No aguardo!

      Uso a versão 8.3.9 do PHP
      Meu SO é o Windows 10 32 bits
    • Por landerbadi
      Tenho uma tabela chamada "item" com os seguintes campos: id, name, active. Nela tem cadastrado vários itens. No campo "active" eu coloco a letra "S" para informar que este item está ativo no sistema. Por exemplo: 1, casa, S 2, mesa, S 3, cama, S 4, moto S 5, rádio O quinto registro "radio" não está ativo no sistema pois não tem um "S" no campo active. E outra tabela chamada "product" com os seguintes campos (id, name) com os seguintes registros: 1, Produto A 2, Produto B 3, Produto C E uma terceira tabela chamada "product_item" com os seguintes campos (productID, itemID). No campo productID eu coloco o id de um produto da tabela "product" e no campo "itemID" eu coloco o id do produto da tabela "item". Exemplo: 1, 1 1, 3 1, 4 2, 3 2, 4 Sendo assim o produto A da tabela 'product" comtem os itens casa, cama e moto. Eu preciso fazer uma busca da seguinte maneira:  Eu escolho um registro da tabela "item", por exemplo "casa". Preciso fazer com que o php me liste todos os registros da tabela "product" que contenham a palavra "casa" e que os demais itens estejam ativos no siste. Ou seja, que contenham um "S" no campo "active"  Eu consegui fazer isso da seguinte maneira: SELECT P.id, P.name, GROUP_CONCAT(I.name ORDER BY I.name) AS items FROM product P JOIN product_item PI ON P.id = PI.productID JOIN item I ON I.id = PI.itemID AND I.active = 'S' WHERE P.id NOT IN ( SELECT PI.productID FROM product_item PI JOIN item I ON I.id = PI.itemID WHERE I.active IS NULL ) AND P.id IN ( SELECT PI.productID FROM product_item PI JOIN item I ON I.id = PI.itemID WHERE I.name = 'mesa' ) GROUP BY P.id, P.name; O problema que eu estou tendo é o seguinte:
      Quando eu jogo este código para o banco de dados onde eu já tenho os registros cadastrado o php fica lendo uma eternidade e não lista os produtos.
       
      Usando código no banco de dados que eu fiz para testes ele funciona perfeitamente pois nele tem poucos registros.
       
      No banco de dados principal a tabela "item" tem 11.196 registros. A tabela "product" tem 88.214 registros e a tabela "product_item" tem 518.378 registros. 
       
      Eu acredito que, devido o banco de dados ser muito grande, ele não consegue listar.
       
      Alguém sabe de algum meio de resolver isso?
       
       
    • Por landerbadi
      Boa tarde pessoal. Estou tentado fazer uma consulta no banco de dados porém estou tendo dificuldades. Tenho uma tabela chamada "itens" com os seguintes campos: id, item, ativo. Nela tem cadastrado vários itens. No campo ativo eu coloco a letra "S" para informar que este item está ativo no sistema. Por exemplo: 1, casa, S 2, mesa, S 3, cama, S 4, moto S 5, rádio O quinto registro "radio" não está ativo no sistema pois não tem um "S" no campo ativo. E outra tabela chamada "produtos" com os seguintes campos (id, item1, item2, item3) com os seguintes registros: 1, casa, mesa, moto 2, mesa, casa, cama 3, rádio, cama, mesa Eu preciso fazer uma busca na tabela produtos da seguinte maneira: Eu escolho um registro na tabela "itens", por exemplo "mesa". Preciso fazer com que o php me liste todos os registros da tabela "produtos" que contenham a palavra "mesa". Até aqui tudo bem eu consigo listar. Estou fazendo assim: <?php $item = "mesa" $sql = mysqli_query($conn, "SELECT * FROM produtos WHERE item1 LIKE '$item' OR item2 LIKE '$item' OR item3 LIKE '$item' LIMIT 10"); while($aux = mysqli_fetch_assoc($sql)) { $id = $aux["id"]; $item1 = $aux["item1"]; $item2 = $aux["item2"]; $item3 = $aux["item3"]; echo $id . " - " . $item1 . ", " . $item2 . ", " $item3 . "<br>"; } ?> O problema é que está listando todos os registros que contém o item mesa. Eu preciso que o php verifique os demais item e me liste somente os registro em que todos os registros estejam ativos no sistema. No exemplo acima ele não deveria listar o registro 3. pois nesse registro contém o item "radio" e este item não está ativo no sistema. Ou seja, o registro "radio" na tabela itens não possui um "S" na coluna "ativo". Alguém sabe como resolver isso?
    • Por First
      Olá a todos!
       
      Eu estou criando um sistema do zero mas estou encontnrando algumas dificuldades e não estou sabendo resolver, então vim recorrer ajuda de vocês.
      Aqui está todo o meu código: https://github.com/PauloJagata/aprendizado/
       
      Eu fiz um sistema de rotas mas só mostra o conteúdo da '/' não sei porque, quando eu tento acessar o register nada muda.
      E eu também quero que se não estiver liberado na rota mostra o erro de 404, mas quando eu tento acessar um link inválido, nada acontece.
      Alguém pode me ajudar com isso? E se tiver algumas sugestão para melhoria do código também estou aceitando.
       
       
      Desde já, obrigado.
    • Por landerbadi
      Olá pessoal, boa tarde
       
      Tenho uma tabela chamada "produtos" com os seguintes campos (id, produto) e outra tabela chamada "itens" com os seguintes campos (id, prod_01, prod_02, prod_03, prod_04).
       
      Na tabela produtos eu tenho cadastrado os seguintes produtos: laranja, maçã, uva, goiaba, arroz, feijão, macarrão, etc.
       
      Na tabela itens eu tenho cadastrado os itens da seguinte maneira:
       
      1, laranja, uva, arroz, feijão;
      2, maçã, macarrão, goiaba, uva;
      3, arroz, feijão, maçã, azeite
       
      Meu problema é o seguinte: 
      Eu escolho um produto da tabela "produtos", por exemplo "uva".  Preciso fazer uma consulta na tabela "itens" para ser listado todos os registros que contenham o produto "uva" e que todos os demais produtos estejam cadastrados na tabela "produtos".
       
      No exemplo acima seria listado apenas dois registros, pois o terceiro registro não contém o produto "uva". 
       
      Alguém pode me ajudar? Pois estou quebrando a cabeça a vários dias e não consigo achar uma solução.
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.