Ir para conteúdo

Arquivado

Este tópico foi arquivado e está fechado para novas respostas.

fernando25

Order By + Limit em tabela com muitos registros e vários Left Joins

Recommended Posts

Boa noite Pessoal, pesquisei e não encontrei nada que poderia me ajudar até agora aqui no fórum. É o seguinte tenho várias tabelas relacionais e duas delas tem algumas centenas de registros e preciso ordenar e limitar para que a paginação funcione bem, mas, assim que coloco para fazer a ordenação que não seja pelo campo ID dá tabela a consulta demora e as vezes nem executa, alguma ideia? Pesquisei na internet e em vários fóruns, alguns me falaram para fazer inner joins, adicionar INDEXES na consulta entre outras soluções que tentei e não resolveu.

Desde já agradeço a todos aqui do fórum!!

Compartilhar este post


Link para o post
Compartilhar em outros sites

Publique as tabelas em questao e como você quer o resultado.

Compartilhar este post


Link para o post
Compartilhar em outros sites

Seguinte são 8 tabelas relacionadas, vou colocar primeiro o select e depois vou colocar as tabelas com mais ou menos a quantidade de registros de cada uma.

SELECT 
`c`.`id` as `idcontatos`, `sc`.`status` as `statuscontato`,
 `sn`.`status` as `statusnegociacao`, `p`.`projeto`,
 `sg`.`segmento`, `ps`.`profissao`, `l`.`id` as `idleads`,
 `l`.`telefone1` as `telefone1`, `l`.`telefone2` as `telefone2`,
 `l`.`telefone3` as `telefone3`, `l`.`telefone4` as `telefone4`,
 `l`.`telefone5` as `telefone5`, `l`.`email` as `email`, 
`us`.`nome` as `consultor`, `l`.`nome` as `nomelead`,
 `l`.`empresa` as `empresa`, `l`.`tipopessoa`, `c`.`datacontato`,
 `c`.`dataatualizacao`, `c`.`dataretorno` as `dataretornoagendado`,
 `c`.`horaretornoagendado`
 FROM `lead` `l`
 LEFT JOIN `contatos` `c` ON `c`.`idlead` = `l`.`id` 
 LEFT JOIN `statuscontato` `sc` ON `sc`.`id` = `c`.`idstatuscontato` 
 LEFT JOIN `statusnegociacao` `sn` ON `sn`.`id` = `c`.`idstatusnegociacao` 
 LEFT JOIN `usuarios` `us` ON `us`.`id` = `c`.`idusuarios` 
 LEFT JOIN `projetos` `p` ON `p`.`id` = `l`.`idprojetos` 
 LEFT JOIN `profissoes` `ps` ON `ps`.`id` = `l`.`idprofissoes` 
 LEFT JOIN `segmentos` `sg` ON `sg`.`id` = `l`.`idsegmentos` 
 ORDER BY `l`.`nome` LIMIT 41000,40

As tabelas principais são Lead (cerca de 63 mil registros) e Contatos (cerca de 70 mil registros):

Tabela Lead:

CREATE TABLE `lead` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `idprofissoes` int(11) DEFAULT NULL,
  `idprojetos` int(11) DEFAULT NULL,
  `idsegmentos` int(11) DEFAULT NULL,
  `nome` varchar(255) DEFAULT NULL,
  `empresa` varchar(255) DEFAULT NULL,
  `telefone1` varchar(25) NOT NULL,
  `telefone2` varchar(25) DEFAULT NULL,
  `Telefone3` varchar(25) DEFAULT NULL,
  `telefone4` varchar(25) DEFAULT NULL,
  `telefone5` varchar(25) DEFAULT NULL,
  `tipopessoa` enum('F','J') DEFAULT NULL,
  `endereco` varchar(255) DEFAULT NULL,
  `numero` varchar(10) DEFAULT NULL,
  `complemento` varchar(255) DEFAULT NULL,
  `bairro` varchar(200) DEFAULT NULL,
  `cidade` varchar(200) DEFAULT NULL,
  `estado` varchar(2) DEFAULT NULL,
  `cep` varchar(22) DEFAULT NULL,
  `email` varchar(150) DEFAULT NULL,
  `observacoes` longtext,
  `dataregistro` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `Telefone1_UNIQUE` (`telefone1`),
  KEY `fk_Lead_Profissoes1` (`idprofissoes`),
  KEY `fk_Lead_Projetos1` (`idprojetos`),
  KEY `fk_Lead_Segmentos1` (`idsegmentos`),
  KEY `nome_idx` (`nome`),
  CONSTRAINT `fk_Lead_Profissoes1` FOREIGN KEY (`idprofissoes`) REFERENCES `profissoes` (`id`) ON DELETE SET NULL ON UPDATE NO ACTION,
  CONSTRAINT `fk_Lead_Projetos1` FOREIGN KEY (`idprojetos`) REFERENCES `projetos` (`id`) ON DELETE SET NULL ON UPDATE SET NULL,
  CONSTRAINT `fk_Lead_Segmentos1` FOREIGN KEY (`idsegmentos`) REFERENCES `segmentos` (`id`) ON DELETE SET NULL ON UPDATE CASCADE
) ENGINE=InnoDB AUTO_INCREMENT=70410 DEFAULT CHARSET=latin1;

Tabela Contatos:

CREATE TABLE `contatos` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `idstatuscontato` int(11) DEFAULT '0' COMMENT 'Status do Contato.',
  `idstatusnegociacao` int(11) DEFAULT '0' COMMENT 'Status Da Negociação',
  `idusuarios` int(11) DEFAULT NULL COMMENT 'Corretor que fez o contato.',
  `idlead` int(11) DEFAULT NULL,
  `datacontato` date DEFAULT NULL,
  `historicoretornoefetuados` varchar(255) DEFAULT NULL,
  `dataretorno` date DEFAULT NULL,
  `dataregistro` datetime DEFAULT NULL,
  `dataregistroatualizacao` datetime DEFAULT NULL,
  `observacoes` longtext,
  `horaretornoagendado` varchar(5) DEFAULT NULL,
  `datadisponibilizacao` date DEFAULT NULL,
  `dataatualizacao` date DEFAULT NULL,
  `idplanos` int(11) DEFAULT NULL,
  `valorplano` float(10,2) DEFAULT '0.00',
  `devolucao` int(11) DEFAULT '0',
  `planospreferenciais` int(11) DEFAULT NULL,
  `planospreferenciais1` int(11) DEFAULT NULL,
  `planospreferenciais2` int(11) DEFAULT NULL,
  `hospitaispreferenciais` int(11) DEFAULT NULL,
  `hospitaispreferenciais1` int(11) DEFAULT NULL,
  `hospitaispreferenciais2` int(11) DEFAULT NULL,
  `motivoprocura` varchar(255) DEFAULT NULL,
  `templano` int(11) DEFAULT NULL,
  `templanoanos` int(11) DEFAULT NULL,
  `templanomeses` int(11) DEFAULT NULL,
  `motivotroca` varchar(200) DEFAULT NULL,
  `acomodacao` enum('E','A','D') DEFAULT NULL,
  `tipoplano` enum('C','S','A') DEFAULT NULL,
  `atendimento` enum('R','N','A') DEFAULT NULL,
  `planoodontologico` enum('S','N') DEFAULT NULL,
  `empresarialpercentual` int(11) DEFAULT NULL,
  `empresarialoutracidade` varchar(50) DEFAULT NULL,
  `faixaetariade0a18` int(11) DEFAULT NULL,
  `faixaetariade19a23` int(11) DEFAULT NULL,
  `faixaetariade24a28` int(11) DEFAULT NULL,
  `faixaetariade29a33` int(11) DEFAULT NULL,
  `faixaetariade34a38` int(11) DEFAULT NULL,
  `faixaetariade39a43` int(11) DEFAULT NULL,
  `faixaetariade44a48` int(11) DEFAULT NULL,
  `faixaetariade49a53` int(11) DEFAULT NULL,
  `faixaetariade54a58` int(11) DEFAULT NULL,
  `faixaetariaacima58` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `fk_Contatos_StatusContato1` (`idstatuscontato`),
  KEY `fk_Contatos_StatusNegociacao1` (`idstatusnegociacao`),
  KEY `fk_Contatos_Lead1` (`idlead`),
  KEY `fk_Contatos_Usuarios1_idx` (`idusuarios`),
  KEY `fk_Contatos_Hospitais1_idx` (`hospitaispreferenciais`),
  KEY `fk_Contatos_Hospitais2_idx` (`hospitaispreferenciais1`),
  KEY `fk_Contatos_Hospitais3_idx` (`hospitaispreferenciais2`),
  KEY `fk_Contatos_Planos1_idx` (`planospreferenciais`),
  KEY `fk_Contatos_Planos2_idx` (`planospreferenciais1`),
  KEY `fk_Contatos_Planos3_idx` (`planospreferenciais2`),
  KEY `fk_contatos_idplanos1_idx` (`idplanos`),
  CONSTRAINT `fk_Contatos_Hospitais1` FOREIGN KEY (`hospitaispreferenciais`) REFERENCES `hospitais` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Hospitais2` FOREIGN KEY (`hospitaispreferenciais1`) REFERENCES `hospitais` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Hospitais3` FOREIGN KEY (`hospitaispreferenciais2`) REFERENCES `hospitais` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Lead1` FOREIGN KEY (`idlead`) REFERENCES `lead` (`id`) ON DELETE CASCADE ON UPDATE SET NULL,
  CONSTRAINT `fk_Contatos_Planos1` FOREIGN KEY (`planospreferenciais`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Planos2` FOREIGN KEY (`planospreferenciais1`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Planos3` FOREIGN KEY (`planospreferenciais2`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_StatusContato1` FOREIGN KEY (`idstatuscontato`) REFERENCES `statuscontato` (`id`) ON DELETE SET NULL ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_StatusNeg1` FOREIGN KEY (`idstatusnegociacao`) REFERENCES `statusnegociacao` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE,
  CONSTRAINT `fk_Contatos_Usuarios1` FOREIGN KEY (`idusuarios`) REFERENCES `usuarios` (`id`) ON DELETE SET NULL ON UPDATE NO ACTION,
  CONSTRAINT `fk_contatos_idplanos1` FOREIGN KEY (`idplanos`) REFERENCES `planos` (`id`) ON DELETE NO ACTION ON UPDATE CASCADE
) ENGINE=InnoDB AUTO_INCREMENT=74594 DEFAULT CHARSET=latin1;

Acho que consigo dá pra analisar oque eu devo estar fazendo de errado, não conheço nada avançado em questão de banco de dados, em outras palavras o banco deve estar bem mal feito.

Desde já agradeço a todos que puderem me orientar e me ajudar.

Compartilhar este post


Link para o post
Compartilhar em outros sites

Em geral estas soluções não são simples mas :

0) Faça o explain plain da sql

1) Verifique se todos as colunas que relacionam as tabelas estão sendo usadas

2) Todos os índices que poderiam ajudar foram criados

3) As estatisticas de BD estão atualizadas

4) o sql não está fazendo join desnecessarios

5) Um índice pelo lead.nome pode ser util

Compartilhar este post


Link para o post
Compartilhar em outros sites

Motta muito obrigado viu pela ajuda até agora, dei uma pequena pesquisada e arranjei um jeito de resolver a questão do tempo, mas, não sei se é o ideal, gostaria da sua opinião se está correto:

select
 c.id as idcontatos,
 sc.status as statuscontato,
 sn.status as statusnegociacao,
 p.projeto, sg.segmento, 
ps.profissao,
 le.id as idleads,
 le.telefone1 as telefone1,
 le.telefone2 as telefone2,
 le.telefone3 as telefone3,
 le.telefone4 as telefone4,
 le.telefone5 as telefone5,
 le.quemcadastro as quemcadastrou,
 le.email as email,
 us.nome as consultor,
 le.nome as nomelead,
 le.empresa as empresa,
 le.tipopessoa, 
c.datacontato, 
c.dataatualizacao, c.dataregistro,
 c.dataretorno as dataretornoagendado, c.horaretornoagendado from
 (select l.id from lead l order by l.nome  LIMIT 30000,1000) l
join lead le on le.id = l.id
left join contatos c on 
le.id = c.idlead
left join statuscontato sc on
c.idstatuscontato = sc.id
 LEFT JOIN statusnegociacao sn ON sn.id = c.idstatusnegociacao
 LEFT JOIN usuarios us ON us.id = c.idusuarios 
LEFT JOIN projetos p ON p.id = le.idprojetos
 LEFT JOIN profissoes ps ON ps.id = le.idprofissoes 
LEFT JOIN segmentos sg ON sg.id = le.idsegmentos 
order by sc.status

Pois, para mim está parecendo algum tipo de "POG", rs, literalmente orientado a gambiarras rs, muito obrigado!!

Compartilhar este post


Link para o post
Compartilhar em outros sites

Este from sobre um subselect parece estranho à principio mas se resolveu o problema da ordenação é uma saída válida , só documente o motivo.

Compartilhar este post


Link para o post
Compartilhar em outros sites

  • Conteúdo Similar

    • Por landerbadi
      Boa tarde pessoal. Estou tentado fazer uma consulta no banco de dados porém estou tendo dificuldades. Tenho uma tabela chamada "itens" com os seguintes campos: id, item, ativo. Nela tem cadastrado vários itens. No campo ativo eu coloco a letra "S" para informar que este item está ativo no sistema. Por exemplo: 1, casa, S 2, mesa, S 3, cama, S 4, moto S 5, rádio O quinto registro "radio" não está ativo no sistema pois não tem um "S" no campo ativo. E outra tabela chamada "produtos" com os seguintes campos (id, item1, item2, item3) com os seguintes registros: 1, casa, mesa, moto 2, mesa, casa, cama 3, rádio, cama, mesa Eu preciso fazer uma busca na tabela produtos da seguinte maneira: Eu escolho um registro na tabela "itens", por exemplo "mesa". Preciso fazer com que o php me liste todos os registros da tabela "produtos" que contenham a palavra "mesa". Até aqui tudo bem eu consigo listar. Estou fazendo assim: <?php $item = "mesa" $sql = mysqli_query($conn, "SELECT * FROM produtos WHERE item1 LIKE '$item' OR item2 LIKE '$item' OR item3 LIKE '$item' LIMIT 10"); while($aux = mysqli_fetch_assoc($sql)) { $id = $aux["id"]; $item1 = $aux["item1"]; $item2 = $aux["item2"]; $item3 = $aux["item3"]; echo $id . " - " . $item1 . ", " . $item2 . ", " $item3 . "<br>"; } ?> O problema é que está listando todos os registros que contém o item mesa. Eu preciso que o php verifique os demais item e me liste somente os registro em que todos os registros estejam ativos no sistema. No exemplo acima ele não deveria listar o registro 3. pois nesse registro contém o item "radio" e este item não está ativo no sistema. Ou seja, o registro "radio" na tabela itens não possui um "S" na coluna "ativo". Alguém sabe como resolver isso?
    • Por First
      Olá a todos!
       
      Eu estou criando um sistema do zero mas estou encontnrando algumas dificuldades e não estou sabendo resolver, então vim recorrer ajuda de vocês.
      Aqui está todo o meu código: https://github.com/PauloJagata/aprendizado/
       
      Eu fiz um sistema de rotas mas só mostra o conteúdo da '/' não sei porque, quando eu tento acessar o register nada muda.
      E eu também quero que se não estiver liberado na rota mostra o erro de 404, mas quando eu tento acessar um link inválido, nada acontece.
      Alguém pode me ajudar com isso? E se tiver algumas sugestão para melhoria do código também estou aceitando.
       
       
      Desde já, obrigado.
    • Por landerbadi
      Olá pessoal, boa tarde
       
      Tenho uma tabela chamada "produtos" com os seguintes campos (id, produto) e outra tabela chamada "itens" com os seguintes campos (id, prod_01, prod_02, prod_03, prod_04).
       
      Na tabela produtos eu tenho cadastrado os seguintes produtos: laranja, maçã, uva, goiaba, arroz, feijão, macarrão, etc.
       
      Na tabela itens eu tenho cadastrado os itens da seguinte maneira:
       
      1, laranja, uva, arroz, feijão;
      2, maçã, macarrão, goiaba, uva;
      3, arroz, feijão, maçã, azeite
       
      Meu problema é o seguinte: 
      Eu escolho um produto da tabela "produtos", por exemplo "uva".  Preciso fazer uma consulta na tabela "itens" para ser listado todos os registros que contenham o produto "uva" e que todos os demais produtos estejam cadastrados na tabela "produtos".
       
      No exemplo acima seria listado apenas dois registros, pois o terceiro registro não contém o produto "uva". 
       
      Alguém pode me ajudar? Pois estou quebrando a cabeça a vários dias e não consigo achar uma solução.
    • Por landerbadi
      Boa tarde pessoal. Estou tentado fazer uma consulta no banco de dados porém estou tendo dificuldades. Tenho uma tabela chamada "itens" com os seguintes campos: id, item, plural, ativo. Nela tem cadastrado vários itens e seu respectivo plural. No campo ativo eu coloco a letra "S" para informar que esta palavra está ativa no sistema. Por exemplo: 1, casa, casas, S 2, mesa, mesas, S 3, cama, camas, S 4, moto, motos, S 5, rádio, rádios O quinto registro "radio" não está ativo no sistema pois não tem um "S" no campo ativo. E outra tabela chamada "variações" com os seguintes campos (id, item1, item2, item3) com os seguintes registros: 1, casa, camas, moto 2, mesas, casas, radio 3, rádio, cama, mesa Eu preciso fazer uma busca na tabela variações da seguinte maneira: Eu escolho um registro na tabela "itens", por exemplo "casa". Preciso fazer com que o php me liste todos os registros da tabela "variações" que contenham a palavra "casa". Porém se tiver algum registro com a palavra "casas" também tem que ser listado. Neste caso ele irá encontrar dois registros. Agora eu preciso que o php verifique os demais itens e faça a listagem apenas dos item que estão ativos (que contenham um "S" no campo ativo. Neste caso ele irá encontrar apenas um registro, pois o segundo registro contém a palavra "rádio". E "rádio" não está ativo na tabela itens. Como faço isso?
    • Por ILR master
      Fala pessoal.
       
      Seguinte:
       
      Quero selecionar duas tabelas e mostrar com resultados intercalados. Abaixo segue um código explicando para vcs terem uma ideia.
       
      $consulta = "SELECT A.*, B.* FROM tabela1 A, tabela2 B'";
      $resultado = mysqli_query($conexao, $consulta) or die ("erro");
      while($busca = mysqli_fetch_array($resultado)){
       
      print $busca['cod_evento']; --> traz o código da tabela1 
      print $busca['titulo_evento']; -->  traz o titulo da tabela1
      print $busca['cod_noticia']; --> traz o código da tabela2
      print $busca['titulo_noticia']; --> traz o tituloda tabela2
       
      }
       
      Espero que entendam. Grato
       
×

Informação importante

Ao usar o fórum, você concorda com nossos Termos e condições.