Мне кажется скриптом на bash'е легко можно реализовать, задача ведь тривиальная.
man bash

Да. А сам скрипт на крон повесить, чтобы автоматизировать весь процесс.
ТСу имеет смысл ознакомиться с find, sed, awk, grep - всё, что нужно для полного счастья.

А если время, которое понадобится программе для обработки файлов, неизвестно?

Если неизвестно, проверять вначале на работающий скрипт/прогу, и если не пашет, запускать дальше.

Вообще говоря, ничего особенного-то не требуется, всё пишется банально:
Проверка на запущенные скрипты/проги.
Поиск ваших папок.
Для каждого файла в найденных папках запуск внешней проги.
Удаление файлов.
Энд.

Не вижу сложностей, вроде бы.

А как проверить запущена программа или нет?

Например, погрепать из ps ax, хотя наверное есть способ поумнее, лень сейчас искать.

if ps -C lighttpd >> /dev/null ;
then
echo "Lighttpd running"
else
echo "Lighttpd stopped"
fi