.htaccess não funciona quando os parametros são iguais a um diretorio

Olá.

Eu tenho o meu ".htaccess" da seguinte forma:

RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php

No "index.php" eu tenho da seguinte forma o meu código:

$url_digitada = $_SERVER['REQUEST_URI'];
$url_array = explode("/", $url_digitada);

if(empty($url_array[1]) or $url_array[1] == ""){ include_once 'home.php'; }else{

 include_once '404.php';
}

No url digito da seguinte forma:

http://localhost/teste

Assim funciona, carrega a pagina "404.php"

Porém, eu tenho uma pasta que é "css" e se digitar da seguinte forma, a pagina "404.php" não aparece, e sim uma lista do que tenho dentro da pasta "css":

http://localhost/css

Ou seja, não esta reconhecendo css como parâmetro.

Agradeço a ajuda.