Anexar arquivo por e-mail e Deleta-lo na pasta do servidor

Preciso anexar arquivo dentro da pasta no servidor.

porém esta dando erro.

Could not find a part of the path 'C:\Program Files (x86)\Common Files\Microsoft Shared\DevServer\10.0\~\arquivos\'.

...em seguida preciso apaga-lo da pasta no servidor.

Lembrando que esse arquivo é um anexo que vai para o e-mail

O arquivo veio por meio de UPLOAD (já programado)

Preciso de Ajuda

static void EnviaEmail(string Mensagem, string Destinatario, string Assunto, MailPriority Prioridade)
{
//OBJETOS:::: cliente_smtp - remetente - destinatario - mensagem

 SmtpClient cliente_smtp = new SmtpClient();
 cliente_smtp.Host = "smtp.gmail.com";
 cliente_smtp.Credentials = new NetworkCredential("xxxxxxxxxxxxx", "xxxxxxxxxxxxxxx");
 cliente_smtp.Port = 25;

 MailAddress remetente = new MailAddress("xxxxxxxxx@xxxxxxxxx", "UPLOAD - Website");
 MailAddress destinatario = new MailAddress(Destinatario);
 MailMessage mensagem = new MailMessage();
 mensagem.CC.Add(destinatario);
 mensagem.IsBodyHtml = true; //estou dizendo que em mensagem havera uma página html
 mensagem.From = remetente;
 mensagem.Subject = Assunto;
 mensagem.Body = Mensagem;
 mensagem.Priority = Prioridade;

 #region INICIO ANEXO
 //Como eu faço???
 FileStream fileToAttach = File.Open(@"~\arquivos\", FileMode.Open); //Ler arquivo do file system

 // string FileName = server.MapPath("~/App_data/contactForm.text");
 // FileStream fileToAttach = System.IO.File.ReadAllText(FileName);

 AttachmentCollection objAttachCol = mensagem.Attachments; //Pegar coleção de anexos
 Attachment objAttach = new Attachment(fileToAttach, "/"); //Criar objeto do arquivo anexo passando o FileStream instânciado
 objAttachCol.Add(objAttach); //Anexar o arquivo

 //em seguida eu preciso apagar o arquivo da pasta no servidor

 #endregion

 try
 {
 cliente_smtp.Send(mensagem);

 }

 catch (Exception ex)
 {

 throw ex;

 }
 }