Friendly URL com .htaccess

Olá, estou tentando usar o .htaccess pra quando o usuário entrar em qualquer página seja retirado da URL a extensão .php.

index.php

<?php
	echo "Olá mundo!";
?>

htaccess:

<IfModule mod_rewrite.c>
	Options +FollowSymlinks
	RewriteEngine on

	RewriteRule ^([a-zA-Z0-9\_\/\-]*)$ index.php
</IfModule>

Mas quando eu entro na página a extensão .php continua, já entrei em vários sites, mas tudo que eu tentei não funcionou, a extensão continua lá. Estou usando o xampp.

Detalhe, haverão sub-páginas também.