Ubuntu10.04 での設定メモです。
          (他の環境も一緒だと思いますが・・・)
        
デフォルトでは IPv6 を使用する設定になっているので netstat すると次のようになります。
$ netstat -ant | grep 22
tcp    0   0 0.0.0.0:22  0.0.0.0:*    LISTEN
tcp6    0   0 :::22     :::*      LISTEN
        sshd の設定ファイルを編集します。
$ sudo vi /etc/ssh/sshd_config
        次の設定を追加します。
AddressFamily inet
sshd を再起動します。
$ sudo service ssh restart
        これで IPv6 で LISTEN しなくなります。
$ netstat -ant | grep 22
tcp    0   0 0.0.0.0:22  0.0.0.0:*    LISTEN