En ce qui me concerne, cela ne me dérange pas trop.
En effet je crois comprendre que ces associations du noir au péjoratif est dû à une histoire et des croyances. Je rappproche cela à des superstitions qui existent un peu partout. Mais je me trompe peut être en lisant vos commentaires cela me permet d'y réfléchir encore.
Par contre il y a dans certains discours en france des termes qui sont employés qui me dérangent beaucoup :
"travailler comme un nègre"
"parler petit nègre"
A chaque fois que j'ai entendu cela je suis parti voir la personne après en aparté en lui disant qu'elle ne devait pas dire cela si elle ne voulait pas subir une mauvaise réaction un jour ou l'autre.
La réponse était que ça faisait parti du langage courant...
Ma réponse était que, non, ces mots étaient venu suite à l'histoire colonisatrice de la France.
(j'espère que je ne suis pas sorti du sujet car ce n'est pas tout à fait la même chose).

PS : l'un de ces termes a été employé par un professeur qui était il est vrai un peu provocateur généralement (et d'origine algérienne)