Que tarea tan tonta, tenía meses con ganas de hacerlo pero no había entendido la documentación oficial.
gracias a esta fuente[1] y que se me presentó el mismo problema que en el foro se describe lo averigué que bien.:

"Donde te quieres conectar [servidor]"

Genera las claves publicas y privadas:

ssh-keygen -t rsa

Te preguntara la ruta del archivo y una conrtaseña, deja la ruta por defecto, y colocale una conrtaseña que no olvides.

Luego.

Crea este archivo:

touch /home/userserver/.ssh/authorized_keys

En el cliente "Desde donde te quieres conectar."

Genera las claves publicas y privadas:

ssh-keygen -t rsa

Copia el cntenido de la clave publica.

Leela:

cat /home/user/.ssh/id_rsa.pub

Copia el contenido y pégalo en el archivo que creamos

""Listo"" Cuando te conectes desde esa máquina te pedira desbloquear la clave pública (contraseña que metiste cuano creaste el archivo en el cliente) y no la del servidor.

Todo esto lo hice en 2 equipos con ubunu 10.04....

[1] http://ubuntuforums.org/showthread.php?t=1161342