Vale. a ver c omo te lo explico de manera sencilla.
Teniendo router, deberas entrar a la web de configuracion del router. Como no se que router tienes pos no puedo ayudarte mucho mas. En paginas de adsl, como adslayuda, adslzone, etc... podras encontrar ayuda sobre como configurar el router.
Mira si las DNS estan automaticas o estan asignadas como fijas. Es decir, si en las DNS tienes puesta una IP, estan fijas. Tambien en Panel de Control/Configuracion de red, en las propiedades de tu conexion de la targeta de red, has doble click sobre el protocolo TCP/IP y mira si las DNS estan fijas o automaticas.
Si no lo entiendes, te lo explico mañana mas detenidamente y ocn pelos y señales xDD