تم تسمية "جمرة العقبة الكبرى" بهذا الاسم لأنها كانت تقع في أصل جبل يمثل عقبة (الممر الوعر الضيق في الجبل). وكان هذا الجبل يشكل عقبة أو طريق صعب على الحجاج قديماً، حتى أن بعضهم كانوا يصعدون على الجبل لرمي الحصى إلى أسفله. في الوقت الحالي، تم إزالة هذا الجبل ولم تعد هناك عقبة فعلية، إلا أن الاسم بقي مرتبطاً بهذا الموقع. أما "جمرة" فتعني الحصى الصغير الذي يرمي به الحجاج، ولهذا سميت الجمرات بهذا الاسم لأنها ترمى بالجِمار (حصى صغيرة). وتسمية "العقبة" تشير إلى ذلك الطريق الوعر في الجبل كما ورد في معاجم اللغة.