Очень общий вопрос. Фактический ты просишь в одном собщение расписать весь процесс пентеста.

Я тебе предложу почитать методологии фаззинга, методологии пентеста, ачатик, хабру.

Вот список куда можно заглянуть

1) PTES

2) PTF

3) ISSAF

4) cCouncil Penetration Testing Methodologies

5) NIST SP 800-115

По поводу ОС. Я сижу на винде, а сервера держу на юникосвых системах. Тут вопрос вкуса.