Во что компилить - это уже во что захочешь. т.е. есть опции для компиляции, также внутри файла есть маханькие описания. типа если файл создает из сегмента кода, данныйх итд, то никогда ты его не скомпилишь в ком файл.
Вроде масм компилит по умолчанию в EXE.
Для того чтобы компильнуть под COM нужно делать так:
ml.exe [имя_файла].asm /AT