Город Грязи возник во второй половине XIX века как поселок при станции Грязи (открытой в 1868 году) в связи со строительством Воронежско-Козловской, Орловско-Грязской и Грязе-Царицынской железных дорог.

Название было взято по соседнему селу Грязи, основанному в XVIII веке и в свою очередь названному от "грязь" — "болото, топь".

Основные достопримечательности города Грязи: автовокзал, вокзал и памятник-паровоз возле него, река Матыра в Грязях, вокзал станции Грязи-Воронежские, грязинский краеведческий музей.