فكر أبناء منطقة الغرافة في أن يكون لهم نادياً يقوم على خدمة أبناء وشباب هذه المنطقة التي اشتهرت بتوافر العديد من القيادات الرياضية، وبالفعل تم العمل على إنشاء هذا النادي الذي تأسس تحت مسمى نادي الاتحاد الرياضي في 6 يونيو عام 1979م، وتم إشهاره رسمياً في 23 سبتمبر من نفس العام بموجب القرار رقم (9).
ترأس أول مجلس إدارة للنادي سعادة الشيخ خليفة بن فهد بن محمد آل ثاني خلال الفترة من عام 1979 حتى 1980 ولمدة عام واحد فقط.
يعتبر الغرافة واحداً من الأندية الرافدة لكرة القدم القطرية بالعديد من اللاعبين والإداريين المتميزين، كما أنه صاحب تاريخ حافل وحقق الكثير من النجاحات والإنجازات سواء المحلية أو الخارجية.