Segurança em scripts php

Olá

Gostaria de saber, se existe uma forma concreta de, permitir que apenas usuários que estão de fato em meu site, possam acessar o painel de controle. Eu digo isso pois, é possível criar um script php usando cURL, que acesse o meu site, faça login, e acesse da mesma forma esta área restrita.

Existe uma solução para isto?

Lembrando que:

• Uma simples sessão não resolveria este problema, visto que, com cURL, é possível receber esta sessão normalmente, como se fosse um usuário.
• Usar um token randomico na página de login também não resolveria, pois basta o script cURL e um pouco de expressão regular para ler qual é o token e utilizá-lo para acessar.
• Checar referrer é algo fora de cogitação, pois como sabem, é muito simples manipular.

Ps: utilizo mod_security habiltitado em meu servidor, tem alguma regra que possa ser aplicada nele para resolver isso?