Executando php após burlar javascript

Tenho um pequeno formulário com input text onde só vai executar a action após passar por uma validação em javascript e nele fazer o "document.contato.submit();".

Porém, alguns spammers (maioria de origem chinesa) estão conseguindo burlar a validação (não preenchem campos obrigatórios com trim e regex). Com o $_SERVER['HTTP_REFERER'] da pra saber que o cara está realmente na página de contato do meu site ao enviar o e-mail.

Pra tentar prevenir, mudei o name e id dos itens do formulário onde remetiam a referência de "email".

Devo desistir da validação javascript e validar mais profundamente por php? Usar ferramentas antispam do servidor? Rezar pro meu santo?

Desde já grato pela ajuda/conselho/dica.