Первоначально Каср Ибрим был крепостью, построенной на внушительном утесе, господствовавшем над восточным берегом Нила. В наши дни это остров, окруженный водами озера Насер.
Место, в котором находится Каср Ибрим, что в переводе означает «Крепость Ибрим», соответствует меровитскому поселению Педем (по-гречески Примис) и является единственным в Нубии археологическим памятником, который благодаря своему расположению остался незатопленным. Несмотря на то, что некоторые эпиграфические свидетельства, упоминающие Каср Ибрим как место большой стратегической важности, относятся к эпохе Аменхотепа I (XVIII династия), сохранившиеся до наших дней руины в основном относятся к эпохе коптов, а над ними возвышается большой христианский собор, центр древнего епископства, истоки которого уходят в VII век. По решению константинопольского султана Селима I в 1528 году в этом месте был размещен османский военный гарнизон,
потомки солдат которого жили здесь вплоть до 1811 года. У основания утеса располагались высеченные в скале часовни XVIII и XIX династий, посвященные царственным владыкам и различным божествам. Впоследствии эти часовни были разобраны, а одна из них реконструирована в Нубийском музее Асуана.
