Otimização de consulta

Boa Noite,

Bom atualmente realizo uma consulta em vários passos, porem gostaria de pedir a opinião de vocês se seria possível realizar essa consulta com apenas uma query.

Tenho uma tabela, que armazenas os votos de varias pessoas, ex:

Person_id * Answer_id

117 * 12

256 * 13

243 * 12

235 * 14

245 * 14

564 * 12

E gostaria de recuperar os dados ordenados de acordo com a frequencia das respostas (Answer_id), ordenando do de menor frequência para o de maior frequência. Ex.:

Person_id * Answer_id

256 * 13

235 * 14

245 * 14

117 * 12

243 * 12

564 * 12

Atualmente estou utilizando mais de uma consulta pra conseguir esse resultado, conseguiria com apenas uma consulta obter esse resultado?

vlws