repair table, alter table, mysqlcheck nunca terminam.

[Playerbr 21]

Tenho uma tabela de nome ibf_posts.

Esta tabela possui aproximadamente

1milhão de linhas;

1GB de espaço em dísco

Os comandos repair table, alter table, optimize table e mysqlcheck quando executados na linha de comando via ssh começam e simplesmente não terminam.

Para recuperar o banco hoje eu utilizo o myisamchk, mas tive que alterar o my.cnf e mudar a pasta de arquivos temporários

 

tmpdir = /home/mysqltemp

Além disso o my.cnf original foi substituido pelo large.cnf

 

Aqui embaixo seguem as informações sobre as partições com o comandos fdisk -l

Disk /dev/sda: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot	  Start		 End	  Blocks   Id  System
/dev/sda1   *		   1		  25	  200781   83  Linux
/dev/sda2			  26		 547	 4192965   82  Linux swap / Solaris
/dev/sda3			 548		 612	  522112+  83  Linux
/dev/sda4			 613	   19457   151372462+   5  Extended
/dev/sda5			 613	   19457   151372431   83  Linux

aqui seguem informações obtidas com o

describe ibf_posts;

+------------------+--------------+------+-----+---------+----------------+
| Field			| Type		 | Null | Key | Default | Extra		  |
+------------------+--------------+------+-----+---------+----------------+
| pid			  | int(10)	  | NO   | PRI | NULL	| auto_increment |
| append_edit	  | tinyint(1)   | YES  |	 | 0	   |				|
| edit_time		| int(10)	  | YES  |	 | NULL	|				|
| author_id		| mediumint(8) | NO   | MUL | 0	   |				|
| author_name	  | varchar(32)  | YES  |	 | NULL	|				|
| use_sig		  | tinyint(1)   | NO   |	 | 0	   |				|
| use_emo		  | tinyint(1)   | NO   |	 | 0	   |				|
| ip_address	   | varchar(16)  | NO   | MUL |		 |				|
| post_date		| int(10)	  | YES  | MUL | NULL	|				|
| icon_id		  | smallint(3)  | YES  |	 | NULL	|				|
| post			 | mediumtext   | YES  | MUL | NULL	|				|
| queued		   | tinyint(1)   | NO   |	 | 0	   |				|
| topic_id		 | int(10)	  | NO   | MUL | 0	   |				|
| post_title	   | varchar(255) | YES  |	 | NULL	|				|
| new_topic		| tinyint(1)   | YES  |	 | 0	   |				|
| edit_name		| varchar(255) | YES  |	 | NULL	|				|
| post_key		 | varchar(32)  | NO   | MUL | 0	   |				|
| post_parent	  | int(10)	  | NO   |	 | 0	   |				|
| post_htmlstate   | smallint(1)  | NO   |	 | 0	   |				|
| post_thanks	  | text		 | YES  |	 | NULL	|				|
| post_edit_reason | varchar(255) | NO   |	 |		 |				|
+------------------+--------------+------+-----+---------+----------------+

A versão do mysql

5.0.45

Informações sobre o hardware

AMD PH-9850 Quad-Core
4GB RAM
160GB SATA2
Enterprise Linux - CentOS - 64 bits

Esse banco era rodado em um fedora com um processador um pouco mais modesto e já vinha apresentando esse problema, há uma semana migrei o conteúdo deste servidor para este que passei as informações mas o problema veio junto.

O que mais me incomoda é o fato de eu ter baixado um backup desse banco para o meu pc e conseguir recuperar em 15 minutos mas com o Ubuntu 8.10, em um Celeron.

 

Já procurei em todos os lugares uma forma de resolver isso, mas não consigo.

Eu queria trocar os campos varchar da tabela por char mas não consigo pq trava, além disso tenho outros bancos no servidor e não queria colocar off o server para recuperar ou otimizar as tabelas.

 

De qualquer forma eu suponho que o problema seja falta de memória temporária, mas como não achei nada então queria ver se alguém têm alguma idéia do que possa ser ou me passar um caminho.

Espero ter passado todas as informações necessárias

 

Obrigado!

[Alex_poty 0]

Colega,

 

Acho que sua tabela não está bem modelada. Tenho tabelas com mas de 4.000.000 de registros com apenas 120Mb.

 

Enfim, pra resolver seu problema eu criaria uma tabela por 100.000 registros, trataria uma por uma e em seguida juntaria numa única bem estruturada.

 

Mas sugiro que antes de transportar seus dados já reparados, faça vários explain select....[b/] para checar se os indices estão trabalhando bem sem pesar no processamento da máquina.

 

Outra sugestão é aumentar a memória ram do seu computador e redimensionar sua partição de troca (swap) que acho que está desproporcional ao restante do seu hd, inclusive criar partições separadas para o DB que normalmente usa a partição /var.

 

Valewww...

[Playerbr 21]

Eu fiz uma parte do que você recomendou.

Criei uma nova tabela com os dados retirados da outra com a mesma estrutura, assim o optimize e alter table funcionaram.

Eu tinha comentado no primeiro posts que o repair table tinha levado 15min, desculpe mas não foi ele, foi o optimize. Nesse servidor levou 2 minutos.

Quanto ao tamanho da tabela, é pq ela é uma tabela de posts do fórum da Invision Power Board (o mesmo do imasters), ela ocupa bastante espaço mesmo. Porém está com 200MB só de índices.

Quanto a adicionar mais memória ram, isso é uma coisa descartada por enquanto (por motivos financeiros).

Quanto aos explain Select... para testar os dados, eu nem cheguei a fazer pois os índices são os originais do programa, acredito que tenham sido bem estruturados.

Quanto ao swap, eu não entedi o fato de estar desproporcional, o servidor está com 4GB e nunca usa nada de swap.

Sobre criar partições separadas para o DB eu vou ver como fazer e tentar aplicar lá!!

Muito obrigado pelas dicas!

[giesta 29]

cola teu my.conf aqui neguinho.....

 

mas tipo....

faça assim

 

create table XYZ like table ABC

 

entre na XYZ e mude as coisas de VARCHAR PRA CHAR (tendo em mente que CHAR come mais HD porem tem performance melhor)

 

depois faz

 

insert into XYZ select * from ABC

 

drop table ABC

rename table XYZ to ABC

[Playerbr 21]

cola teu my.conf aqui neguinho.....

 

mas tipo....

faça assim

 

create table XYZ like table ABC

 

entre na XYZ e mude as coisas de VARCHAR PRA CHAR (tendo em mente que CHAR come mais HD porem tem performance melhor)

 

depois faz

 

insert into XYZ select * from ABC

 

drop table ABC

rename table XYZ to ABC

Desculpe pela demora em responder.

Eu já tinha feito o insert de um select para reestruturar a tabela e tinha resolvido uma parte.

Eu comecei a ter problemas sérios de dados corrompidos, servidor travando e tal, até que a alguns dias atrás a placa mãe foi pro pau e tudo se resolveu, era ela que tava dando pau nesse novo servidor.

Quanto a algumas coisas travarem, eu andei fazendo algumas modificações no my.cnf entre elas o max_connections tinha sido modificado para 10000 no antigo servidor, isso, acho eu, fazia com que o mysql segurace mais conexões que o servidor conseguia aguentar e ai travava tudo, principalmente quando eu radava queries demoradas. No novo servidor ele deu alguns erros de max_connections reached, ai coloquei a opção de aguentar até 200 conexões, pois não tinha a opção de max_connections, que se não me engando do mysql 5.1... pra baixo é configurado em 100.

De qualquer forma está ai o my.cnf

 

# Example MySQL config file for large systems.
#
# This is for a large system with memory = 512M where the system runs mainly
# MySQL.
#
# You can copy this file to
# /etc/my.cnf to set global options,
# mysql-data-dir/my.cnf to set server-specific options (in this
# installation this directory is /var/lib/mysql) or
# ~/.my.cnf to set user-specific options.
#
# In this file, you can use all long options that a program supports.
# If you want to know which options a program supports, run the program
# with the "--help" option.

# The following options will be passed to all MySQL clients
[client]
#password	   = your_password
port			= 3306
socket		  = /var/lib/mysql/mysql.sock

# Here follows entries for some specific programs

# The MySQL server
[mysqld]
port			= 3306
socket		  = /var/lib/mysql/mysql.sock
skip-locking
key_buffer = 256M
max_allowed_packet = 1M
table_cache = 256
sort_buffer_size = 1M
read_buffer_size = 1M
read_rnd_buffer_size = 4M
myisam_sort_buffer_size = 64M
thread_cache_size = 8
query_cache_size= 16M
max_connections=200
log-slow-queries=/var/log/mysql/log-slow-queries.log
# Try number of CPU's*2 for thread_concurrency
thread_concurrency = 8

# Don't listen on a TCP/IP port at all. This can be a security enhancement,
# if all processes that need to connect to mysqld run on the same host.
# All interaction with mysqld must be made via Unix sockets or named pipes.
# Note that using this option without enabling named pipes on Windows
# (via the "enable-named-pipe" option) will render mysqld useless!
#
#skip-networking

# Replication Master Server (default)
# binary logging is required for replication
log-bin=mysql-bin

# required unique id between 1 and 2^32 - 1
# defaults to 1 if master-host is not set
server-id	   = 1

# Replication Slave (comment out master section to use this)
#
# To configure this host as a replication slave, you can choose between
# two methods :
#
# 1) Use the CHANGE MASTER TO command (fully described in our manual) -
#	the syntax is:
#
#	CHANGE MASTER TO MASTER_HOST=<host>, MASTER_PORT=<port>,
#	MASTER_USER=<user>, MASTER_PASSWORD=<password>;
#
#	where you replace <host>, <user>, <password> by quoted strings and
#	<port> by the master's port number (3306 by default).
#
#	Example:
#
#	CHANGE MASTER TO MASTER_HOST='125.564.12.1', MASTER_PORT=3306,
#	MASTER_USER='joe', MASTER_PASSWORD='secret';
#
# OR
#
# 2) Set the variables below. However, in case you choose this method, then
#	start replication for the first time (even unsuccessfully, for example
#	if you mistyped the password in master-password and the slave fails to
#	connect), the slave will create a master.info file, and any later
#	change in this file to the variables' values below will be ignored and
#	overridden by the content of the master.info file, unless you shutdown
#	the slave server, delete master.info and restart the slaver server.
#	For that reason, you may want to leave the lines below untouched
#	(commented) and instead use CHANGE MASTER TO (see above)
#
# required unique id between 2 and 2^32 - 1
# (and different from the master)
# defaults to 2 if master-host is set
# but will not function as a slave if omitted
#server-id	   = 2
#
# The replication master for this slave - required
#master-host	 =   <hostname>
#
# The username the slave will use for authentication when connecting
# to the master - required
#master-user	 =   <username>
#
# The password the slave will authenticate with when connecting to
# the master - required
#master-password =   <password>
#
# The port the master is listening on.
# optional - defaults to 3306
#master-port	 =  <port>
#
#log-bin=mysql-bin

# Point the following paths to different dedicated disks
#tmpdir		 = /tmp/
#log-update	 = /path-to-dedicated-directory/hostname

# Uncomment the following if you are using BDB tables
#bdb_cache_size = 64M
#bdb_max_lock = 100000

# Uncomment the following if you are using InnoDB tables
#innodb_data_home_dir = /var/lib/mysql/
#innodb_data_file_path = ibdata1:10M:autoextend
#innodb_log_group_home_dir = /var/lib/mysql/
#innodb_log_arch_dir = /var/lib/mysql/
# You can set .._buffer_pool_size up to 50 - 80 %
# of RAM but beware of setting memory usage too high
#innodb_buffer_pool_size = 256M
#innodb_additional_mem_pool_size = 20M
# Set .._log_file_size to 25 % of buffer pool size
#innodb_log_file_size = 64M
#innodb_log_buffer_size = 8M
#innodb_flush_log_at_trx_commit = 1
#innodb_lock_wait_timeout = 50

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[isamchk]
key_buffer = 128M
sort_buffer_size = 128M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 128M
sort_buffer_size = 128M
read_buffer = 2M
write_buffer = 2M
tmpdir = /home/mysqltemp

[mysqlhotcopy]
interactive-timeout

Mais uma vez, obrigado!