Contar registros de uma tabela e relacionar com outra

Estou fazendo um esquema semelhante a um curtir do Facebook, basicamente tem uma tabela que tem os dados e uma outra separada para que quando a pessoa curtir (ou seguir) insere nessa outra tabela (sg_like) que tal usuario curtiu.

tabela sg_user

user_id

user_name

password

tabela sg_like

like_id

user_from_id

user_to_id

Até tudo isso tranquilo, agora o problema que eu quero solucionar é selecionar os 5 mais like, queria algum código que não gastasse muito do processamento (já que eu pretendo ter muitos registros), alguma ideia?