Qual é o propósito do 'finally'?

O PHP 5.5 adiciona suporte para os blocos finally, que existem no Java e no Ruby (ensure) e provavelmente em outras linguagens.

Eu entendo que o finally é executado independentemente de o try ter falhado e caído em um catch ou não (me corrijam se estiver errado).

Mas qual o propósito disso? seria a mesma coisa de escrever um código depois do último catch?