[JavaScript] Checa e valida campo

Bom dia pessoal,

Gostaria de uma ajuda de vocês, se possível. Estou criando um formulário simples com 3 input do tipo texto. Preciso criar uma validação do tipo:

Se o campo X não estiver vazio, ele precisa conter ao menos 3 caracteres

Onde o X é o campo1, campo2 e campo3.

Comecei a criar algo assim:

<script language="javascript">

function ValidaFormulario()

var MinimoDeCaracteres= 3;

if ((document.Formulario.displayName.value.length != 0) || (document.Formulario.displayName.value.length != null))

if ((document.Formulario.displayName.value.length < MinimoDeCaracteres))
{

 alert('O campo1 deve conter ao menos ' + MinimoDeCaracteres + ' caracteres.');
 return false;
	}

	else
	{
 return true;
	}

if ((document.Formulario.department.value.length!=0) || (document.Formulario.department.value.length!=null))

if ((document.Formulario.department.value.length < MinimoDeCaracteres))
{

 alert('O campo2 deve conter ao menos ' + MinimoDeCaracteres + ' caracteres.');
 return false;
	}

	else
	{
 return true;
	}

if ((document.Formulario.sAMAccountName.value.length!=0) || (document.Formulario.sAMAccountName.value.length!=null))

if ((document.Formulario.sAMAccountName.value.length < MinimoDeCaracteres))
{

 alert('O campo3 deve conter ao menos ' + MinimoDeCaracteres + ' caracteres.');
 return false;
	}

	else
	{
 return true;
	}

}
</script>

Os campos não são dependentes mas se existir algum caracter, tem que ter ao menos 3. Do jeito que está, o script está exigindo que os 3 campos tenha pelo menos 3 caracteres para enviar o formulário. Se eu usar somente o primeio bloco de código (o displayName) ele funciona, ou seja, ele checa e valida. A questão é quando a checagem precisa acontecer nos outros 2 campos.

Obrigado por qualquer ajuda.