लगभग चार हज़ार साल पहले मक्का का मैदान पूरी तरह से निर्जन था. मुसलमानों का ऐसा मानना है कि अल्लाह ने पैग़ंबर अब्राहम (जिसे मुसलमान इब्राहीम कहते हैं) को आदेश दिया कि वो अपनी पत्नी हाजरा और बेटे इस्माइल को फ़लस्तीन से अरब ले आएं ताकि उनकी पहली पत्नी सारा की ईर्ष्या से उन्हें (हाजरा और इस्माइल) बचाया जा सके.
मुसलमानों का ये भी मानना है कि अल्लाह ने पैग़ंबर अब्राहम से उन्हें अपनी क़िस्मत पर छोड़ देने के लिए कहा. उन्हें खाने की कुछ चीज़ें और थोड़ा पानी दिया गया. कुछ दिनों में ही ये सामान ख़त्म हो गया. हाजरा और इस्माइल भूख और प्यास से बेहाल हो गए.
मुसलमानों का मानना है कि मायूस हाजरा मक्का में स्थित सफ़ा और मरवा की पहाड़ियों से मदद की चाहत में नीचे उतरीं. भूख और थकान से टूट चुकी हाजरा गिर गईं और उन्होंने संकट से मुक्ति के लिए अल्लाह से गुहार लगाई.
मुसलमानों का विश्वास है कि इस्माइल ने ज़मीन पर पैर पटका तो धरती के भीतर से पानी का एक सोता फूट पड़ा और दोनों की जान बच गई.
हाजरा ने पानी को सुरक्षित किया और खाने के सामान के बदले पानी का व्यापार भी शुरू कर दिया. इसी पानी को आब-ए-ज़मज़म यानी ज़मज़म कुआं का पानी कहा जाता है. मुसलमान इसे सबसे पवित्र पानी मानते हैं और हज के बाद सारे हाजी कोशिश करते हैं कि वो इस पवित्र पानी को लेकर अपने घर लौटें.
जब पैग़ंबर अब्राहम फ़लस्तीन से लौटे तो उन्होंने देखा कि उनका परिवार एक अच्छा जीवन जी रहा है और वो पूरी तरह से हैरान रह गए.
मुसलमान मानते हैं कि इसी दौरान पैगंबर अब्राहम को अल्लाह ने एक तीर्थस्थान बनाकर समर्पित करने को कहा. अब्राहम और इस्माइल ने पत्थर का एक छोटा-सा घनाकार इमारत निर्माण किया. इसी को काबा कहा जाता है.
अल्लाह के प्रति अपने भरोसे को मज़बूत करने को हर साल यहां मुसलमान आते हैं. सदियों बाद मक्का एक फलता-फूलता शहर बन गया और इसकी एकमात्र वजह पानी के मुकम्मल स्रोत का मिलना था.
धीरे-धीरे लोगों ने यहां अलग-अलग ईश्वर की पूजा शुरू कर दी. पैगंबर अब्राहम के ज़रिए बनाए गए इस पवित्र इमारत में मूर्तियां रखी जाने लगीं.
मुसलमानों का ऐसा मानना है कि इस्लाम के आख़िरी पैगंबर हज़रत मोहम्मद (570-632) को अल्लाह ने कहा कि वो काबा को पहले जैसी स्थिति में लाएं और वहां केवल अल्लाह की इबादत होने दें.
साल 628 में पैग़ंबर मोहम्मद ने अपने 1400 अनुयायियों के साथ एक यात्रा शुरू की. यह इस्लाम की पहली तीर्थयात्रा बनी और इसी यात्रा में पैग़ंबर अब्राहम की धार्मिक परंपरा को फिर से स्थापित किया गया. इसी को हज कहा जाता है.