本競走は、1934年に当時の中山競馬倶楽部理事長であった肥田金一郎氏が、東京競馬場の東京優駿（日本ダービー）に匹敵する中山競馬場の名物レースとする目的で創設した障害競走である。第1回は同年秋に「大障害特別」の名称で行われ、翌1935年から春と秋の年2回開催となった。その後、度重なる名称変更を経て、1948年秋から現在の名称である「中山大障害」として定着している。

創設時の障害の規模は、中山競馬場・4100メートルに大土塁障害（通称赤レンガ）が高さ1.4メートル、幅2.2メートル、大竹柵障害が高さ1.6メートル、いけ垣障害が高さ1.5メートル、幅2.7メートルで現在の障害より大きく、合計10回の飛越と坂路（谷もしくは「バンケット」と呼ばれることもある）を6回上り下りするという過酷なものであった。その後、何度かの距離変更を経て1972年秋からは創設時の4100メートルに戻され、障害レースのスピード化に伴う事故防止のため障害の規模を多少縮小したものの、我が国では最も難度の高いレースで、「華の大障害」と呼ばれ親しまれており、障害を飛越する馬の迫力は平地競走とはまた違う醍醐味を感じさせる。

1999年に障害競走の改革に伴うグレード制導入により、本競走は最高峰のJ・GⅠに格付けのうえ、負担重量も別定から定量に変更された。また、同年から春季は「中山グランドジャンプ」としてリニューアルされたため、「中山大障害」は秋季のみの開催となったが、暮れの中山競馬を彩る障害のビッグレースとして、多くのファンに親しまれている。

なお、2002年に短期免許を取得してニュージーランドから来日したロシェル・ロケット騎手が、ギルデッドエージに騎乗して大差で快勝、JRA史上初の女性騎手による重賞制覇を成し遂げている。