query com and or juntos

Boa noite

estou fazendo uma enquete

para evitar que uma pessoa vote mais de uma vez verifico no banco se o ip da mesma para um grupo de resposta fiz a seguinte query

SELECT voto_ip FROM votos WHERE voto_ip='127.0.0.1' And resposta_codigo ='41' Or resposta_codigo ='38' Or resposta_codigo ='39' Or resposta_codigo ='40' LIMIT 1

entretanto depois de alguem votar retona sim ou seja se tiver um voto com quakquer ip diz que ja tem voto

mas

voto_ip='127.0.0.1' And nao deveria se juntar com pelo menos um resposta_codigo

acho que ele so ta considerando os argumentos resposta_codigo

algeum pdoe me ajuda cria a sql certa

desde ja agradeço