ถึงแม้ว่าพระองค์จะทรงปฏิบัติหน้าที่ทางการศึกษาอยู่ในช่วงระยะเวลาสั้นเพียงประมาณ 3 ปี (พ.ศ. 2333 – 2335) แต่พระองค์ ทรงมีพระดำริริเริ่มเป็นเยี่ยมในพระกรณียกิจด้านนี้หลายประการ กล่าวคือ

1. ทรงเริ่มงานจัดการศึกษาเป็นครั้งแรก เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวโปรดเกล้าฯ ให้เปลี่ยนสภาพ “โรงเรียนทหารมหาดเล็ก” ซึ่งเป็นโรงเรียนฝึกสอนวิชาทหารให้แก่นายร้อย นายสิบ ในกรมทหารมหาดเล็ก มาเป็นโรงเรียนสำหรับพลเรือน มีชื่อเรียกว่า “โรงเรียนพระตำหนัก สวนกุหลาบ” และพระองค์ทรงดำรงตำแหน่งผู้จัดการโรงเรียน

2. ในขณะที่ทรงดำรงตำแหน่งอธิบดีกรมธรรมการ ได้ทรงจัดวางระเบียบการบริหารราชการของกรมและโรงเรียน กล่าวคือ ทรงวางระเบียบ ข้อบังคับตำแหน่งหน้าที่เสมียน พนักงาน ในการเข้ารับราชการ การเลื่อนตำแหน่ง ลาออก ลงโทษ ตลอดจนทรงกำหนดให้มีการตรวจสอบและ รายงานผลตรวจโรงเรียนทั้งในกรุงและหัวเมืองของพนักงานด้วย

3. ทรงขยายการศึกษาโดยอาศัย “วัด” ซึ่งเป็นสถานที่ถ่ายทอดวิชาความรู้ และอบรมศีลธรรมให้แก่ราษฎรมาแต่โบราณ และ “วัดมหรรณพาราม” เป็นโรงเรียนหลวงแห่งแรกที่ทรงจัดตั้งขึ้น การศึกษาลักษณะนี้ได้ขยายออกไปอย่างกว้างขวางทั่วกรุงเทพฯ ในเวลาต่อมา และเมื่อทรงปรับปรุง หลักสูตรและวิธีการสอน ตลอดจนจัดพิมพ์ตำราเรียนเรียบร้อยแล้ว ได้ทรงขยายการศึกษาออกไปสู่ราษฎรตามหัวเมืองต่าง ๆ โดยทรงจัดตั้ง โรงเรียนหลวงขึ้นทั่วประเทศ เมื่อปี พ.ศ. ๒๔๓๕

4. ทรงริเริ่มจัดให้มีการตรวจสอบตำราเรียนและออกประกาศรับรอง ทั้งนี้เพื่อให้นักเรียนมีความรู้ และความสามารถอย่างเหมาะสม และทรงกำหนด ให้มีการปรับปรุงหลักสูตรตำราเรียนขึ้นใหม่ คือ ตำราแบบเรียนเร็ว

5. ทรงจัดตั้ง “โรงเรียนฝึกหัดข้าราชการพลเรือน” เมื่อ พ.ศ. 2442 ในขณะที่ทรงดำรงตำแหน่งเสนาบดีกระทรวงมหาดไทย ซึ่งต่อมา ใน พ.ศ. 2453 พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงพระกรุณาโปรดเกล้าฯ ให้เปลี่ยนชื่อเป็น “โรงเรียนมหาดเล็ก” และเปลี่ยนเป็น “จุฬาลงกรณ์มหาวิทยาลัย” ในเวลาต่อมา

6. ทรงปรับปรุงและแก้ไขข้อบกพร่องต่าง ๆ ของหอพระสมุดวชิรญาณ ซึ่งเป็นหอสมุดแห่งเดียวในพระนคร เช่น ทรงกำหนดให้มีการแต่งตั้ง คณะกรรมการดำเนินงาน จัดงบประมาณสำหรับซื้อหนังสือ กำหนดระเบียบวิธีการยืม และการเป็นสมาชิก เป็นต้น

ซึ่งเป็นกิจการสำคัญยิ่งในการบริหารประเทศนั้น พระองค์ทรงมีบทบาทสำคัญยิ่งในการก่อตั้งและปฏิรูปการจัดระเบียบการปกครอง ภายในประเทศ และการบริหารราชการของกระทรวงมหาดไทยกล่าวคือ

1. ทรงจัดการบังคับบัญชางานภายในกระทรวง ให้มีรูปแบบเป็นระบบราชการชัดเจนขึ้น มีลำดับขั้นการบังคับบัญชา มีการแบ่งงานและเลือกสรร ผู้มีความรู้ความสามารถเข้ารับราชการ โดยการจัดสอบคัดเลือกตลอดจนออกระเบียบวินัยต่าง ๆ เช่น เลิกประเพณีให้ข้าราชการทำงานอยู่ที่บ้าน กำหนดให้มีการประชุมข้าราชการทุกวัน กำหนดเวลาการทำงาน ตลอดจนจัดระเบียบส่ง ร่าง เขียน และเก็บหนังสือราชการ เป็นต้น

2. ทรงจัดระบบการปกครองส่วนภูมิภาค ซึ่งเรียกว่า “ระบบเทศาภิบาล” ได้เป็นผลสำเร็จ และนับว่าเป็นผลงานสำคัญที่สุดของพระองค์ โดยทรง รวมหัวเมืองต่าง ๆ จัดเข้าเป็น “มณฑล” และมี “ข้าหลวงเทศาภิบาล” เป็นผู้บังคับบัญชา อยู่ในอำนาจของเสนาบดีกระทรวงมหาดไทยอีกชั้นหนึ่ง สำหรับการแบ่งเขตย่อยลงไปเป็นจังหวัด อำเภอ ตำบล และหมู่บ้านนั้น ใน พ.ศ. 2440 ได้ออก “พระราชบัญญัติลักษณะการปกครองท้องที่” บังคับใช้ทั่วพระราชอาณาจักร
พระราชกรณียกิจด้านการปกครองส่วนท้องถิ่นที่สำคัญอีกประการหนึ่ง คือ ทรงริเริ่มจัดตั้ง “การสุขาภิบาลหัวเมือง” ในปี พ.ศ. 2448 โดยเริ่มที่ ตำบลท่าฉลอม จังหวัดสมุทรสาคร เป็นแห่งแรก และนับเป็นการปูพื้นฐานการปกครองส่วนท้องถิ่น
พระกรณียกิจด้านมหาดไทยทุกประการ จึงล้วนแต่เป็นคุณประโยชน์แก่ประเทศชาติและประชาชนยั่งยืนมาจนถึงปัจจุบัน
นอกจากพระราชกรณียกิจด้านการศึกษาและด้านมหาดไทยแล้ว พระองค์ยังทรงรับพระราชภาระจัดการและมีส่วนร่วมในการปรับปรุงกิจการด้านอื่น ๆ อีกหลายด้าน ได้แก่ ด้านการป่าไม้ ซึ่งทรงริเริ่มก่อตั้งกรมป่าไม้ขึ้นเพื่อให้หน่วยงานของรัฐได้เข้าไปควบคุมดูแลกิจการป่าไม้โดยตรง และทรงริเริ่ม ให้ดำเนินการออกพระราชบัญญัติ กฎกระทรวง และกฎข้อบังคับต่าง ๆ เพื่อเป็นผลประโยชน์ของกรมป่าไม้เป็นหลักสำคัญ และเป็นรากฐานในการ ปฏิบัติงานของกรมป่าไม้มาจนถึงปัจจุบัน ทรงริเริ่มการออกโฉนดที่ดิน

ทรงรับภาระในการจัดการโรงเรียนแพทย์ต่อจาก พระเจ้าน้องยาเธอ พระองค์เจ้าศรีเสาวภางค์ ทรงมีพระดำริริเริ่มให้มีโอสถศาลา สำหรับรับหน้าที่ผลิตยาแจกจ่ายให้ราษฎรในตำบลห่างไกล ซึ่ง ปัจจุบันคือ สถานีอนามัย และทรงจัดตั้งปาสตุรสภา สถานที่ป้องกันโรคพิษสุนัขบ้า
ซึ่งในปัจจุบันโอนไปอยู่ในสังกัดของสถานเสาวภา สภากาชาดไทย นอกจากนี้พระองค์ยังทรงรับพระภารกิจด้านงานสรรพากร และงานอุตสาหกรรมโลหกิจ ซึ่งเป็นแนวทางพัฒนางานมาจนถึงปัจจุบันด้วย

ทรงริเริ่มและวางรากฐานการดำเนินงานของกิจการพิพิธภัณฑสถานแห่งชาติ หอสมุดแห่งชาติ และพระองค์ท่านก็ทรง อุทิศเวลา ทรงพระนิพนธ์หนังสือ ตำราต่าง ๆ ด้านประวัติศาสตร์และโบราณคดี อันเป็นมรดกทางปัญญาของชาวโลกมาจนกระทั่งทุกวันนี้