Obter lista de usuário que não estão vinculados a um grupo

Pesquisando na internet encontrei o blog http://www.paulinhawinter.com/2009/06/entendendo-outer-joins-sql-parte-4-varias-tabelas/

estou com um problema que está meio bizarro de resolver.

Sei que é simples mas a lógica ainda não entrou na minha cabeça.

Preciso fazer uma consulta que traga exatamente o contrário da consulta abaixo

SELECT u.,g. FROM usuarios u INNER JOIN grupos_usuarios gu ON gu.usuarios_id = u.id INNER JOIN grupos g ON g.id = gu.grupos_id where gu.grupos_id = ?

Nessa consulta eu listo todos os usuário vinculados a um grupo específico (?), eu preciso de uma consulta que retorne todos os usuários que não estão vinculado a este grupo mesmo que estejam vinculados a qualquer outro grupo.

O exemplo segue a ideia bem semelhante do exemplo de programadores e linguagens do blog.

Se alguém puder ajudar eu agradeço.