Хороший вопрос... обычно все делается ручками и самописной на коленке приблудой которая расставляет хуки на импорты и перехватывает LoadLibrary чтобы отследить динамическую загрузку + если есть надобность хукает все экспорты подгруженной либы (если кто-то сам высчитывает адреса мимо GetProcAddress) + может проверять целостность хуков +.... и.т.д. А в коде - чисто вывод в файлик. Можно просто текстом - можно выбрасывать в БД и уже со всеми подробностями смотреть что передавалось в виде данных, хотя обычно нужно всего-то пару хуков поставить чтобы конкретный кусок посмотреть. Автоматизированную систему всегда кто-то может обмануть, поэтому обычно ручками делают.

Аверам ручками делать некогда, поэтому те юзают какую-нибудь песочницу. Что-то типа этого: https://www.joesecurity.org/

Но х/з ее в паблике нахаляву нормальную хрен найдешь, да и не особо в принципе нужно искать. Очень может пригодиться для злобных протов типа старенькой Фемиды разве что, но не факт ибо хоть какой-то код видеть бы хотелось, поэтому все-равно придется расшифровывать что она там нагенерила...

Помнится Ксакеп несколько раз вещал о чем-то подобном. Собссно то что можно нагуглить сразу - вот микростатейка имеется по Sandboxie. У аверов песочницы повкуснее, да где ж их взять-то...