↑
Одной тулзы наверное нет, но несколькими все можно разрулить.
procmon
- логирование попыток открывать файлы, ветки реестра и что-то еще... не помню, но иногда одного этого хватает.
wireshark
- само-собой для логирования передаваемых по сети данных.
Process Explorer
- да, обычный диспетчер задач, но в нем можно посмотреть открытые хендлы (файлы, мьютексы, етц) а посредством дебугга узнать что это такое открыто вообще.
winapioverride
- логирование API - вызовов. Я не юзал, мне всегда хватало Spy++ или чего-то подобного - но вроде-как хвалят.
Дебугга
- ну это само-собой WinDBG. Конечно не Syser, дебажить Венду на живой системе не умеет, но кое-что посмотреть все-равно иногда требуется. К нему понадобятся символы ибо без них там не особо чего наделаешь, но какбэ это уже опционально
Можно еще чего погуглить - но это вроде-как основное.