jQuery, executar ação ao clicar fora do elemento

Bom galera, estou desenvolvendo um plugin para o jQuery, porém estou enfrentando um problema.

No caso, eu teria um elemento #elemento e eu gostaria de ao clicar em qualquer lugar que não seja ele, execute uma determinada ação.

Tentei usar $("body").click porém ele pega todos os elementos da página e executa a ação diversas vezes (dependendo sobre onde é clicado).

Bom, desde já agradeço.