элементарно...
- рассматриваешь все пары вершин
- для каждой пары составляешь уравнение прямой, проходящей через эти две точки (запрос в гугле: "уравнение прямой через две точки")
- подставляешь координаты двух других точек в уравнение прямой. Если значения одинакового знака, значит точки лежат по одну сторону от прямой.
- если для всех пар точек получилось, что другие точки лежат по одну сторону, значит четырехугольник выпуклый