Обычно, чтобы выделить какой-то определенный тип файла, используют уникальную сигнатуру, но чаще ее помещают в начало файла - так намного меньше гемороя. Считываем первые N байт из файла (N == sizeof(наша_сигнатура)), проверяем их и если все верно, то считываем остальное и расшифровываем (ну или что ты там собрался делать?).Необходимо как-то распознавать зашифрован ли уже файл или нет.
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 29