1) установления пароля на просмотр файла - это уже говорит о том, что должен быть свой формат и свой просмоторщик.

А вообще это всё довольно просто реализовать, вот только херовато будет выглядеть это для разных типов рисунков(график, фото, квадрат Малевича итд итп)
Но Основная идея может быть только такой:
1) Выдираем данные с канваса нужного изображения
2) пакуем его любым алгоритмом который тебе понравится. Тотже ХаФФман покатит.
3) Далее можно взять любое самое простое шифрование с паролем. И вот ты шифруешь эти данные/ или нешифруешь
4) строишь служебные заголовки типа
сигнатура
ширина/высота картинки
бит на цвет.
размер упакованных данных
байт описывающий содержимое файла.
0 - чисто данные
1 - шифровано паролем
// хотя следующие данные можно простустить чтобы не палится
2 - застенагрофирован файл
3 - шифровано паролем и в нутри застенаграфирован файл
Ну и по желанию добавить типа данные об авторе итд итп
На счет стенографии, то можно пойти простым способом. данные разбиваются на биты и последовательно эти биты раскидываются по байтам изображения.
1 бит на 1 байт. Кидать его нужно в младший бит байта, чтобы цвет отличался всеголишь на 1/256 что глазу незаметно.
При таком варианте в картинке 1024*768 и 24 бита на цвет можно спрятать 294912 байт данных. НУ а после того как ты данные спрятал, ты можешь уже упаковать их. Ну или паковать и зашифровать (если включена опция защиты паролем)

Но такие картинки сможет проссматривать только твоя программа.
Ну и вытаскивать застенографированные файл.

Другое дело - если отказаться от другова формата, то можно просто стенографировать данные с паролем во внутрь обычной bmp что является самым простым.