Die Hohe Rhön bildet das Herz des Gebirges. Dieser von mächtigen Basaltdecken geformte Hauptkamm baut sich entlang einer SSW-NNO-Achse auf (in etwa dem Verlauf der hessisch-bayerischen Landesgrenze folgend). Zur Südrhön und insbesondere zur östlichen Vorderrhön hin ist die Hohe Rhön durch eine bis zu 500 m hohe Landstufe scharf abgesetzt.
	Man unterscheidet mehrere Untereinheiten, deren Entstehung auf die tiefen Kerbtäler von Sinn, Ulster, Fulda, Brend und Kellerbach zurückzuführen sind, die in die Flanken des Gebirges eingreifen und einzelne Gebirgsstöcke aus dem Verband der Hohen Rhön herauslösen. An erster Stelle ist die Lange Rhön zu nennen (Heidelstein, 926 m), das eigentliche Zentrum der Rhön. Nördlicher Pfeiler ist der Ellenbogen. Das Abtsrodaer Gebirge trägt den höchsten Gipfel (Wasserkuppe, 950 m), ist aber vom Hauptkamm deutlich abgesetzt. Im Südwesten gruppieren sich Dammersfeld (928 m) und Kreuzberg (928 m) mit ihren Nebengipfeln, die Schwarzen Berge (Totnansberg, 839 m) bilden den südlichen Abschluß der Hohen Rhön.