Sistema de confirmação (saber quem não respondeu)

Boa tarde pessoal,

Criei um sistema de agenda onde relaciono eventos e os usuários listam e marcam os eventos que poderão comparecer.

A dúvida é a seguinte:

Como descubro quem não marcou se vai ou não para os eventos agendados?

Estou quebrando a cabeça em como faria essa consulta, mas não achei nenhuma idéia prática.

Poderiam me ajudar?

Vou bolar um exemplo abaixo para termos um ponto de partida:

tabela: usuario

tabela: agenda_usuario

<?php
include ("config/config.php");

//Seleciona o ID dos eventos

$sql="SELECT DISTINCT id_agenda FROM agenda_usuario";
$resultado = mysql_query($sql);

while ($linha = mysql_fetch_array($resultado)){
$id_agenda = $linha['id_agenda'];
//Exibe todos os eventos cadastrados

echo "$id_agenda<br> ";

//Seleciona os usuários que responderam sim ou não para o evento

echo "Responderam: ";
$sql2="SELECT id_usuario FROM agenda_usuario WHERE id_agenda = '$id_agenda'";
$resultado2 = mysql_query($sql2);
$teste = "";

while($linha2=mysql_fetch_array($resultado2)) {

extract($linha2);
$id_user = $linha2['id_usuario'];
$teste.= "$id_user, ";
echo "$teste";}

echo "<br>";

//Aqui é o problema... Como descobrir quem não deu uma resposta ao evento?
//Pensei nessa forma, mas ele exibe ID's que responderam ao evento.
//Caso eu coloque os ID's manualmente no lugar do $teste, (1,2,3,4,5,6) ae sim ele responde corretamente.

echo "Nao responderam: ";
$sql4 = "SELECT * FROM usuario WHERE usuario_ativo = '1' AND id_usuario NOT IN ('$teste')";
$resultado4 = mysql_query($sql4) or die (mysql_error());

while ($linha4 = mysql_fetch_array($resultado4)){

$falta = $linha4['id_usuario'];
echo "$falta, ";}

echo "<br><br>";
}
?>

Essa foi a primeira forma que pensei (e que não está funcionando corretamente), mas caso tenham algum método mais prático, agradeceria.

Obrigado,

Nilson Henze