บัณฑิตวิทยาลัย เริ่มก่อตั้งเมื่อปีพุทธศักราช 2522 เมื่อครั้งยังเป็นมหาวิทยาลัยศรีนครินทรวิโรฒ วิทยาเขตมหาสารคาม ภายหลังมหาวิทยาลัยมหาสารคามได้แยกตัวเป็นเอกเทศ เมื่อวันที่ 8 ธันวาคม 2537 จึงได้เปลี่ยนแปลงการดำเนินงานจากบัณฑิตวิทยาลัย เป็น “งานบริหารบัณฑิตศึกษา” สังกัดกองบริการการศึกษา ฝ่ายวิชาการ และในปี พ.ศ. 2540 งานบริหารบัณฑิตศึกษาได้แยกออกจากฝ่ายวิชาการ จัดตั้งเป็น “สำนักงานบัณฑิตศึกษา” ภายใต้การบริหารงานของรองอธิการบดีฝ่ายบัณฑิตศึกษา จนกระทั่งเมื่อวันที่ 17 กรกฎาคม 2546 สภามหาวิทยาลัยอนุมัติให้จัดตั้ง “บัณฑิตวิทยาลัย” (Graduate School) ภายใต้การบริหารงานของคณบดีบัณฑิตวิทยาลัย เป็นหน่วยงานระดับคณะ มีรูปแบบการบริหารงานในลักษณะนอกระบบราชการ มีภารกิจในการบริหารและจัดการการศึกษาระดับบัณฑิตศึกษา ในบทบาทของการเป็นผู้ประสานงานและสนับสนุนการจัดการศึกษา กำกับและควบคุมมาตรฐานการศึกษาระดับบัณฑิตศึกษาและบริหารการจัดการหลักสูตรของคณะ และหลักสูตรสาขาวิชาร่วมให้มีประสิทธิภาพและประสิทธิผล
“ผู้มีปัญญาพึงเป็นอยู่เพื่อมหาชน”
“จัดการศึกษาระดับบัณฑิตศึกษา มุ่งเน้นความเป็นเลิศทางวิชาการและความเป็นสากลภายใต้ระบบการบริหารจัดการที่มีความคล่องตัว มีประสิทธิภาพ และพึ่งตนเองได้”
“มุ่งมั่นสู่การเป็นองค์กรชั้นนำในการกำกับ ประสานงาน สนับสนุน และส่งเสริมการพัฒนาองค์ความรู้ที่เป็นสากล ด้วยการบุกเบิก เสาะแสวงหาจากภูมิปัญญาท้องถิ่น เพื่อตอบสนองความต้องการที่เป็นพื้นฐานของสังคม”
“สนับสนุนการผลิตบัณฑิตที่สูงกว่าระดับปริญญาตรีที่มีคุณภาพทางวิชาการ และองค์ความรู้ระดับมาตรฐานสากล มีคุณธรรมจริยธรรม”
