Colocar barra sem ter a pasta

Para fazer isso, você pode apenas criar o arquivo categoria.php diretamente na raiz do seu site e configurar o .htaccess da seguinte forma, sem a necessidade de marcarção ou tags:

RewriteEngine On
RewriteBase /

RewriteRule ^categoria/?$ categoria.php [L]

No arquivo categoria.php, você pode adicionar o texto ou lógica que desejar.

Se você acessar teste.com.br/categoria/, o servidor automaticamente irá direcionar para o conteúdo do arquivo categoria.php.

<?php
echo "Bem-vindo à página de categorias!";
?>

	Outra forma de criar a URL teste.com.br/categoria/ sem a necessidade de criar uma pasta física seria configurando o seu servidor web diretamente, dependendo do servidor que você está utilizando. Vou explicar para os servidores Apache e Nginx:

	Apache

<VirtualHost *:80>
 ServerName teste.com.br
 DocumentRoot /caminho/para/sua/pasta/public

 <Directory /caminho/para/sua/pasta/public>
 Options Indexes FollowSymLinks
 AllowOverride All
 Require all granted
 </Directory>

 # Redireciona /categoria para categoria.php
 <Location /categoria>
 SetHandler application/x-httpd-php
 Action application/x-httpd-php /categoria.php
 </Location>
</VirtualHost>

	Nginx

server {

 listen 80;
 server_name teste.com.br;

 root /caminho/para/sua/pasta/public;

 location /categoria {
 rewrite ^/categoria/?$ /categoria.php last;
 }

 location / {
 try_files $uri $uri/ =404;
 }
}