Амфитеатр строился в III веке н.э. и при проконсуле Гордиане и известно, что уже в 238 годк использовался для гладиаторских боёв, хотя и не был достроен. Заброшенный с падением Римской империи, до XVII столетия он простоял практически в нетронутом виде, но затем камень, из которого был построен амфитеатр, стал использоваться для строительных нужд в самой деревне Эль-Джем, а также был использован для строительных работ в мечети Укба в Кайруане.

Руины амфитеатра были включены в культурное наследие ЮНЕСКО в 1979 году.

Амфитеатр даёт одну из возможностей ощутить себя на арене римского амфитеатра, где когда-то устраивались бои гладиаторов друг с другом или со зверьми. Под ареной находятся два пересекающихся подземных прохода, предназначенных для выхода зверей на арену.