нужно закрыть с помощью iptables (или какой у вас там файрвол) все порты, кроме порта вашего прокси для ваших клиентов.
чтоб не оббегать всех пользователей, необходимо настроить прозрачный прокси (например squid tranpsarent в гугле можно по этому запросу найти примерные настройки, которые вам будут нужны). и правилом файрволла, перебросить весь трафик от пользователя к маршрутизатору, на порт вашего проксика. (внимательно, правила должны быть в правильном порядке.)

это если в общих словах.
будет больше конкретики что, как, с помощью какого ПО делаете, будут и конкретные ответы.