Souvisle je rozšířen ve Střední Asii, v Evropě spíše ostrůvkovitě. Vyskytuje se v Moldávii, Rumunsku, Bulharsku, Maďarsku, Slovensku, Rakousku, Srbsku a Černé Hoře. V České republice žije 8 – 10 párů.

Jako ostatní sokolovití dravci ani raroh velký si nestaví vlastní hnízdo. Obsazuje stará hnízda jiných dravců, volavek nebo jiných větších ptáků situovaná na vysokých stromech nebo ve skalních dutinách. Nejčastěji hnízdí na okrajích listnatých lesních porostů na rozhraní s otevřenou krajinou. Tvoří páry zpravidla na celý život.

Vzhledem a velikostí je podobný káni lesní (Buteo buteo). Odlišuje se však typickou sokolovitou siluetou, tedy úzkými křídly a ocasem. Na horní čelisti zobáku má zejk, výběžek usnadňující usmrcení kořisti. Velký význam má v sokolnictví.

V souvislosti s globálním oteplováním se jeho areál znovu rozšiřuje směrem na sever. Osidluje nížiny a nižší pohoří v kulturní, zemědělsky obhospodařované zemi, kde loví. Létá sice trochu pomaleji než sokol stěhovavý, ale je obratnější. Dokáže při útoku zabrzdit a změnit směr, proto úspěšně loví i na zemi.