Попробуй посмотреть любой Color Picker на js, может там по сабжу чего будет

http://xhtml.ru/2007/03/07/javascript-palette/
http://fastcoder.org/articles/?aid=155
http://mattkruse.com/javascript/colorpicker/
http://eriwen.com/css/color-palette-with-css-and-moo/

Если честно, то не совсем понял вопрос.

Во всех примерах с палитрами цвет вычисляется математически или как цвет элемента под курсором.
А для моей задачи нужно с помощью JavaScript загрузить картинку с сервера, и получить цвет каждого ее пиксела.

Я уже сам понял что это практически невозможно.
Это высший пилотаж.
Я думаю что это реально сделать только распарсив бинарник картинки. Но тогда уже проще загрузить картинку на сервере и выслать JavaScript'у уже массив с цветами пикселей.