Remover Registros Duplicados

Boa tarde pessoal!

Estou com um problema e espero que alguém possa me ajudar.

Possuo uma tabela de responsabilidade e nela possuo diversos registros duplicados como exemplo:

ID | ID_USUARIO | ID_TAREFA

1 | 1 | 1

2 | 2 | 2

3 | 3 | 2

4 | 3 | 2

5 | 4 | 3

Notem que posso ter registros de usuarios ou tarefas repetidos. O que não pode acontecer, é a compinação usuario/tarefa se repetir, como acontece nos ID 3 e 4

Eu tenho um sql que localiza todos os registros que aparecem mais de uma vez:

SELECT id_tarefa, id_usuario, COUNT( * ) AS Total

FROM responsavel

GROUP BY id_tarefa, id_usuario

HAVING Total >1

O resultado deste SELECT é

ID_TAREFA | ID_USUARIO | TOTAL

3 | 2 | 2

Pois bem, não consigo remover o registro duplicado e deixar apenas 1.

Lembrando, tenho milhares de duplicações o que impede que eu faça isso manualmente.

Li diversos tutoriais na net, como duplicar a tabela ou deixar um campo como UNIQUE, porém como disse eu posso ter esses registros duplicados, o que não posso ter é a combinação USUARIO/TAREFA duplicadas.

Se alguém puder me ajudar, ficarei imensamente agradecido!

Abraços!