la verdad no entiendo bien tu pregunta, pero si tienes un router con 4 saludas de red, solo tienes que:

1. configuar el router en uno de los ordenadores.
2. y conectar el otra tambien via red.

supongo que en los dos ordenadores tendras en conexion de red obtener ip automaticamente.

si no es asi, ponlo en automatico.

si aun asi, te sigue dando problemas, tendras que ponerle manualmente las ip (tienen que ser diferentes en los dos ordenadores), la mascarada (normalmente 255.255.255.0), la puerta de enlace (las mas conumes son 192.168.0.1, 192.168.1.1 y 192.168.2.1) y los Dns (vete a una pagina de ayuda para ver cuales corresponde a tu router por ejemplo http://www.adslzone.net/ )

saludos.