Во всех примерах с палитрами цвет вычисляется математически или как цвет элемента под курсором.
А для моей задачи нужно с помощью JavaScript загрузить картинку с сервера, и получить цвет каждого ее пиксела.

Я уже сам понял что это практически невозможно.
Это высший пилотаж.
Я думаю что это реально сделать только распарсив бинарник картинки. Но тогда уже проще загрузить картинку на сервере и выслать JavaScript'у уже массив с цветами пикселей.