कोविंद 1991 में बीजेपी में शामिल हुए और 1994 में उत्तर प्रदेश राज्य से राज्य सभा के लिए निर्वाचित हुए. वर्ष 2000 में पुन उत्तरप्रदेश राज्य सभा के लिए निर्वाचित हुए.
इस प्रकार कोविन्द लगातार 12 वर्ष तक राज्य सभा के सदस्य रहे हैं. वह बीजेपी के राष्ट्रीय प्रवक्ता भी रहे.