Как правило, вначале антивирус проверяет файл по сигнатуре, сравнивая его со своей базой , если ничего не обнаружено, запускается эмулятор. антивирус как бы создает свою среду (буфер), в который загружает исследуемый код, далее определяется глубина погружения в мкс (примерно) и начинается выполнение всех инструкций как в ольге.
глубина т.е время которое сканирует антивирус может меня вовремя сканирования, например антивирус обнаружил паковку и.т.п. однако все это должно быть в умеренном режиме, иначе процесс сканирования будет чрезвычайно долгим.

по мере распаковки файла антивирус сверяет его со своей базой, и как только обнаружит вредоносную сигнатуру, сообщает об этом.