хз ...нашел те что запрещены к индексированию:

/csjay
/~csjay
/jayoung
/~jayoung
/jmoore
/~jmoore
/mbmills
/~mbmills
/cfmbm
/~cfmbm

и что то с аккаунтами связано:
все на its.eiu.edu
accounts
email
evfilm
jobs
mainframe
pubs
security
software
staff
status
telecom
view.php
vpn

а эта хрень у меня не открывается:
http://library.eiu.edu/administration