Muitos Links Vindo de um único Site

Estive fazendo uma checagem no número de backlinks de um dos meus sites esta semana e notei cerca de 20 mil backlinks vindo de um único site e 17 mil vindo de outro.

O site do qual há 20 mil links pro meu site possui bom page rank, já o de 17 mil não. Queria saber se tanto um site como o outro podem prejudicar meu site por terem tantos links apontando pra mim.