Одной тулзы наверное нет, но несколькими все можно разрулить.

procmon - логирование попыток открывать файлы, ветки реестра и что-то еще... не помню, но иногда одного этого хватает.

wireshark - само-собой для логирования передаваемых по сети данных.

Process Explorer - да, обычный диспетчер задач, но в нем можно посмотреть открытые хендлы (файлы, мьютексы, етц) а посредством дебугга узнать что это такое открыто вообще.

winapioverride - логирование API - вызовов. Я не юзал, мне всегда хватало Spy++ или чего-то подобного - но вроде-как хвалят.

Дебугга - ну это само-собой WinDBG. Конечно не Syser, дебажить Венду на живой системе не умеет, но кое-что посмотреть все-равно иногда требуется. К нему понадобятся символы ибо без них там не особо чего наделаешь, но какбэ это уже опционально

Можно еще чего погуглить - но это вроде-как основное.