PHPMailer para Gmail

Estou usando o PHPMailer para enviar e-mails atautenticados para o Gmail e estou tendo problemas com o e-mail do usuário remetente, caso ele não envie por um e-mail Gmail, segue o código:

$mensagem = $_POST['nome'];
$mensagem .= $_POST['email'];
$mensagem .= $_POST['dddtel'];
$mensagem .= $_POST['tel'];
$mensagem .= $_POST['cidade'];
$mensagem .= $_POST['estado'];
$mensagem .= $_POST['assunto'];
$mensagem .= $_POST['texto'];

$nome = $_POST['nome'];
$email = $_POST['email'];
$dddtel = $_POST['dddtel'];
$tel = $_POST['tel'];
$cidade = $_POST['cidade'];
$estado = $_POST['estado'];
$assunto = $_POST['assunto'];
$texto = $_POST['texto'];

$mensagem = "Nome: " .$_POST['nome']. "<br>Email: " .$_POST['email']. "<br>Tel: " .$_POST['dddtel']. " - " .$_POST['tel']. "<br>Cidade: " .$_POST['cidade']. " - " .$_POST['estado']. "<br><br>Assunto: " .$_POST['assunto']. "<br><br>Mensagem: " .$_POST['texto']. "<br><br>";

require_once('phpmailer/class.phpmailer.php');
$mail = new PHPMailer();
$mail->Charset = 'UTF-8';

$mail->From = "meu_email@Meu_dominio.com.br";
$mail->FromName = 'Meu nome';

$mail->IsHTML(true);
$mail->Subject = $assunto;
$mail->Body = $mensagem;
//$mail->AltBody = $mensagem;

$mail->IsSMTP();
$mail->SMTPAuth = true;
$mail->Host = "ssl://smtp.googlemail.com";
$mail->Port = 465;
$mail->Username = 'meu_email@Meu_dominio.com.br';
$mail->Password = 'xxxxxx';

$mail->AddAddress('meu_email@Meu_dominio.com.br', 'Meu_nome');

$mail->AddAddress($email); /Adiconando o e-mail do remetente, está linha gera o erro no recebimento/

if( $mail->Send() )
echo 'E-mail enviado com sucesso';
else

 echo 'Erro ao enviar e-mail';
?>

Estou adicionando o email usuário remetente "$mail->AddReplyTo($email);" o e-mail chega com erro:

Technical details of permanent failure:

Google tried to deliver your message, but it was rejected by the recipient domain. We recommend contacting the other email provider for further information about the cause of this error. The error that the other server returned was: 550 550-Verification failed for...

Alguém já passou por isso ou conhece uma solução para este problema?