Фраза "Я же пошутил/а" - это манипуляция, фраза абьюзера, который знает, что он виноват, но все равно решил переложить свою вину на вас. А значит, такая ситуация повторится вновь.
Поэтому, если вы хотите раз и навсегда прояснить границы дозволенного, то достаточно сказать в ответ одно:
"Шутка- это когда смешно. А я почувствовал/а что-то обидное, значит никакой шутки тут и не было". Таким образом, вы прямо заявляете человеку, что он хотел вас обидеть, не позволяете переложить свою вину на вас и проводите границы допустимого к вам отношения.