Воспользоваться RSA. Сгенерить пару ключей, один из них перенести на сервер своими руками на флешке и запрятать так, чтобы наружу он не просочился. Пароль пользователя зашифровать вторым ключом и отправить серверу, который его соответственно расшифрует первым.
А вообще, каким макаром хакер расшифрует то, что ты передаешь, даже если он знает алгоритм? Он же не знает ключа. Или ты ключ передаешь вместе с шифровкой?
Лучший способ понять что-то самому — объяснить это другому.