बंगाल से पहले शमी ने त्रिपुरा में छह महीने क्रिकेट खेला लेकिन वहां के खेल में उन्हें दम नहीं दिखा। सन 2005 में शमी ने बंगाल में डलहौजी क्रिकेट क्लब ज्वाइन किया।शमी के साथ बंगाल में क्रिकेट खेल चुके मुरादाबाद निवासी मिर्जा दानिश आलम बताते हैं कि दास ने शमी की प्रतिभा को पहचाना। 2007 में शमी ने बंगाल की अंडर-22 टीम के लिए ट्रायल दिया था। उस साल लीग मैचों में उन्होंने 58 विकेट लिए थे। इसके बाद भी अंडर-22 टीम में चयन नहीं हुआ।
शमी निराश नहीं हुए और अगले साल फिर ट्रायल दिया। उस साल वह लीग मैचों में 32 विकेट ही ले पाए थे लेकिन चयन हो गया। फिर 2008 में सैयद मुश्ताक अली ट्रॉफी में उन्होंने गेंदबाजी में कई कारनामे किए और चयनकर्ताओं की निगाह में आ गए। इसके बाद उन्हें रणजी ट्रॉफी में खेलने का मौका मिला था।