การปกครองในสมัยก่อน พ.ศ. 2435 นั้น ยังปกครองตามแบบกรุงศรีอยุธยา คือแบบจตุสดมภ์มี 4 เสนาบดี เวียง วัง คลัง นา แยกกันปกครอง คนละทิศ แต่เมื่อเหตุการณ์เปลี่ยนแปลงไปทางตะวันตกประเทศแล้ว จึงจำต้องจัดการปกครองอย่างใหม่ขึ้นให้ทันเวลา ดังทรงมีพระราชดำรัส กับสมเด็จกรมพระยาดำรงราชานุภาพ เมื่อโปรดเกล้าฯ ให้ย้ายมาเป็นเสนาบดีกระทรวงมหาดไทยนั้น

สมเด็จพ่อทรงเล่าว่า ท่านเสด็จมากระทรวงมหาดไทยแต่พระองค์เดียวกับพระมนตรีพจนกิจ (ม.ร.ว.เปีย มาลากุล) ผู้เป็นเลขานุการส่วน
พระองค์ อยู่ในกระทรวงศึกษาธิการ ด้วยทรงตั้งพระทัยแน่วแน่ว่าจะไม่มีพวก จะเลือกเอาแต่ผู้ที่สามารถทำงานได้จริง

ในเวลาแรกเสด็จไปไม่ได้ทรงแก้ไขอะไรเลย ไปประทับทอดพระเนตรการงานที่เขาทำกันอยู่ทุกแผนกและประทับอยู่ในห้องเจ้าคุณ
ราชวรานุกุล (อ่วม) ผู้เป็นปลัดทูลฉลองโดยมากจนกระทั่งทรงทราบการงาน ที่ทำอยู่โดยละเอียดแล้ว จึงทรงคิดแก้ไขโดยกราบบังคมทูลขอ ตั้งมณฑลและจังหวัด อำเภอ ขึ้นตามท้องที่ ด้วยเอา แผนที่สยาม ซึ่งพระองค์ท่านเองได้ทรงควบคุมเจ้าหน้าที่ทั้งฝรั่งและไทย จัดตั้งกรม
แผนที่ขึ้นเมื่อ พ.ศ. 2428 ในเวลาทรงอยู่ในราชการทหารตรัสเล่าว่าเอาแผนที่ปูขึ้นบนโต๊ะ มีพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวและ
พระองค์ท่าน 2 พระองค์เท่านั้น ยืนคิดตามแผนที่ว่าจะเอาภูเขา และทางน้ำเป็นขอบเขตมณฑลและจังหวัดต่อไป แล้วจึงลงมือออกตรวจ ท้องที่และเลือกคนทำงาน ทรงเล่าถึงเหตุการณฑ์ในตอนนั้นสนุกนัก เพราะเมืองต่างๆ ไม่มีอยู่บนพื้นดินโดยมากอยู่ตามท้องน้ำมีเรือนแพหรือ แพอยู่ทั่วๆ ไป จวนเจ้าเมืองเป็นที่ว่าการ เป็นศาล เป็นคุก เสร็จไปในตัว เจ้าเมืองเองก็ได้เพียงค่าตอกตราใบละ 1 ตำลึงคือ 4 บาท พระองค์ท่านและสมเด็จกรมพระยาเทววงษ์วโรปการ เป็นเสนาบดีคู่แรกที่ได้รับ พระราชทานเงินเดือนๆ ละ 1,000 บาท เป็นปฐม
เสด็จประพาสต้น กำแพงเพชร กรมหลวงดำรงราชานุภาพ ทรงกรรเชียงเรือ มณฑลพิษณุโลกเป็นมณฑลแรกที่จัดตั้งขึ้นเพราะทรงพบ เจ้าพระยาสุรสีห์วิสิษฐ์ศักดิ์ (เชย กัลยณมิตร) เข้า จึงแน่พระทัยว่าจะทำได้ เสด็จพ่อทรง ถือว่า การเลือกคนให้ถูกที่เป็นสิ่งสำคัญยิ่งกว่าสิ่งใดๆ ข้าพเจ้าเคยได้ยินท่านตรัสกับพวกข้าราชการ มีเทศาฯ เป็นต้น อยู่เสมอว่า

เช่นเจ้าพระยาสุรสีห์ฯ ไปเป็นข้าหลวงประจำเชียงใหม่ พูดอังกฤษ ก็ไม่ได้สักคำเดียว แต่ กงสุลอังกฤษเกรงใจและเชื่อทุกอย่างจนถึงกระทรวง
ต่างประเทศถามว่าทำอย่างไรกัน กงสุลคนนั้นซึ่งเก่งกาจไม่น้อย จึงกลับตามเจ้าพระยา สุรสีห์ฯ ไปได้ทุกอย่าง กลางคืนว่ากลางวันกงสุลก็
เห็นด้วย โดยมากท่านตอบด้วยทรงพระสรวลหรือมิฉะนั้นก็ว่า “มันฟลุกซ” แต่กับพวกเราๆ ท่านทรงอธิบายว่า “ถ้าเรียกผู้ใดมาสั่งงานจะให้ไปรับตำแหน่งใหม่ ผู้นั้นตอบรับว่าได้โดยเร็วและอ้ายนั่นก็ทำได้ อ้ายนี่ก็ง่ายละก็ เตรียมหาคนใหม่ ไว้ได้ทันที แต่ถ้าคนใดหนักใจซักถามถี่ถ้วนเห็นความลำบากละก็ เรานอนหลับตาได้”

การเสด็จออกตรวจราชการก็มีอยู่เสมอ ทั้งๆ ที่รถไฟก็มีอยู่เพียงอยุธยาและโคราช รถยนต์ก็ยังไม่มี จึงมีแต่ม้า ช้าง เกวียน และเรือ เสด็จพ่อ ได้เสด็จตรวจการทั่วเมือง เว้นแต่เมืองเลยเมืองเดียวที่ไม่ได้เสด็จ ทางเสด็จจะเห็นได้ในหนังสือนิทานโบราณคดีแล้ว ท่านได้ทรงชี้ที่ปลูก ศาลากลาง แทบจะทุกเมือง ถึงเวลามีงานวันประสูติพิเศษ จึงทรงทำนาฬิกาตั้งส่งไปประทานทุกศาลากลางเพื่อเป็นที่ระลึก แต่มีคำสั่งเด็ดขาด ว่าไม่ให้ติด พระรูปพระองค์ท่านหรือให้ชื่ออะไรว่า “ดำรง” เจ้าคุณรัษฎาฯ (ซิมบี๊ ณ ระนอง) เคยซื้อสวนยางในพระนามท่าน ก็ถูกต่อว่าและขอ อย่าให้ทำ เจ้าคุณทูล ตอบว่าที่ทำเช่นนั้นเพราะ จะล่อให้ราษฏรเชื่อว่าทำสวนยางดี จะได้ตามไปทำบ้างเท่านั้น

ส่วนการตั้งเมืองท่านทรงเล่าว่า โบราณเขาเอาที่มีน้ำและ ที่ราบทำนาได้เป็นหลัก และระยะเมืองก็เอาเกณฑ์ตีนเดินแต่เช้ามืดถึงเย็นเป็นที่
หยุดพัก ระยะทางจึงอยู่ในระยะ 60 กิโลเสมอ ดังเช่นนครปฐม ราชบุรี เพชรบุรีฯ เป็นต้น ในสมัยของพระองค์ท่านเอาความสะดวกของราษฏร
เป็นหลัก เช่นถ้าทางน้ำเปลี่ยนใหม่ไม่สะดวกแก่การคมนาคม ราษฏรมักจะย้ายไปตามน้ำ ถ้าเลือกที่ได้ถูกต้องมั่นคงก็ย้ายเมืองตามไป ถ้าไม่ถูกต้องก็แก้ไขชี้แจงให้เข้าใจกัน เมืองสมัยนั้นคือศาลากลางอยู่ที่ไหน ที่นั่นคือเมือง สมัยนี้เห็นแต่เขาเรียกตลาดว่าเมืองกัน เหตุนี้ดอกกระมังจึงจำต้องมีหลักเมือง การเสด็จตรวจราชการของเสด็จพ่อนั้นตอนเช้าราว 9 โมง เสด็จไปยังศาลากลาง (ซึ่งงานเต็มมือ เพราะกระทรวงอื่นๆ ยังไม่มีเงินมีคนพอจะออกไปตามหัวเมืองได้ จึงต้องฝากงานไว้กับมหาดไทย โดยมาก มีกรมแร่ธาตุ กรมป่าไม้ อัยการ เป็นต้น) ศาล โรงตำรวจภูธร คุก แล้วแวะเยี่ยมตามวัดและพ่อค้าในตลาด เสด็จกลับมาเสวยกลางวันที่ที่พัก พร้อมกับผู้ตามเสด็จตั้งแต่เทศาฯ เจ้าเมืองลงไปถึงผู้ใหญ่บ้าน ถ้าที่มีพอทุกคนก็นั่งโต๊ะด้วย พวกเราผู้หญิงมีหน้าที่ทำกับข้าว จัดโต๊ะรับแขก แต่ได้นั่งกินด้วยตอนนี้แหละที่
ข้าพเจ้ามักจะได้ยินท่านสั่งงาน และคุยกับคนทั่วๆ ไปอยู่เสมอ เสวยแล้วทรงพักบรรทม 1 ชั่วโมง โดยมากเวลา บ่าย 15 น. แม้ไม่บรรทมหลับก็ทรงพระอักษรเพราะตรัสว่าร่างกายมันมีเครื่องจักรเหมือนกัน ต้องให้มันพักบ้าง 16 น. ตรงเสด็จลุกขึ้นแต่ง พระองค์ ตอนนี้พวกเราได้ตามเสด็จด้วย เพราะเสด็จไปตามโบราณสถานทำการขุดค้นไต่ถาม พวกพื้นเมือง กว่าจะกลับก็ราวค่ำมืด ถึงเวลาสรงน้ำ และเสวยเย็นพร้อมกับเทศาฯเจ้าเมือง จนราว 21 น.จึงจะทรงพักทรงพระอักษร และเข้าบรรทมราว 22 น.

ถ้าเป็นเวลาเดินป่าโดยกระบวนม้า เสด็จออกแต่เช้ามืด ถ้าทางไกลมากก็ออกแต่มืดๆ เอาแสงพระจันทร์เป็นแสงสว่างมีตำรวจภูธรชั้นนายสิบเป็น ผู้นำทางคนเดียว ต่อมาก็ถึงหญิงเหลือและข้าพเจ้าบางทีก็มีชายดิศด้วย แล้วถึงเทศาฯ ข้าราชการและมหาดเล็ก ทุกคนมีข้าวหลามเหน็บอานม้าไป คนละกระบอก ไข่ไก่ต้มคนละใบกับห่อเกลือพริกไทยใส่ไปในกระเป๋าเสื้อ แรกๆ ออกเดินท่านคุยกับผู้นำไปเรื่อยๆ จนราวๆ 10-20 นาที ท่านตรัสว่า ต้องให้ม้ามันรู้จักใจเราเสียก่อนถึงค่อยใช้มัน แล้วก็หันมาตรัสถามเราว่า “พร้อมหรือยัง” พอทูลว่า “พร้อมแล้ว”
ท่านก็บอกผู้นำว่า “ไป” คำเดียว แล้วก็ออกวิ่งกันสนุก วิ่งไปสัก 10 นาทีแล้วก็หยุดเดินเตาะแตะไปใหม่ ท่านว่าถ้าเราเหนื่อยม้ามันก็เหนื่อยเหมือนกัน วิ่งๆ หยุดๆ ไปอย่างนี้จนเที่ยง ก็หยุดกินกลางวัน บางทีก็ที่วัด ที่หมู่บ้าน ที่ใต้ต้นไม้ เอาผ้าเอากระดาษปูนั่ง ถ้าลมเย็นๆ กินแล้วหลับไปพักใหญ่กันก็มี แต่เสด็จพ่อท่านไม่เคยหลับ เลย อย่างดีก็พิงหลับพระเนตรครู่เดียว แล้วก็ออกสำรวจและคุยกับผู้คน มีพระภิกษุ เป็นต้น พอราวบ่าย 14 น. ก็เริ่มเดินทางตอนบ่ายซึ่งโดยมาก ไม่มีวิ่งเลย นอกจากทางยังไกลมาก ถึงที่พักแรมก็เกือบๆ ค่ำ พอมีเวลาทำกับข้าวเลี้ยงกันเพราะกองเกวียน เขามักจะมาถึงที่พักแรมก่อน หรือมิฉะนั้น ก็หลังเรานิดหน่อย พอกินเย็นพร้อมๆ กันแล้วก็หลับเป็นตายไปทุกคน วันแรกๆ
ยังมีเสียงครางสัก 2 คืน เพราะพลิกตัวทีก็ปวดไปหมด พอ 2 วัน แล้วก็เคยไปเอง ข้าพเจ้ายังนึกสนุกไม่หายเลย อีกประการหนึ่งที่พักแรม หรือที่เรียกกันว่า พลับพลาป่านั้นเป็นเรือนไม้ไผ่มุงด้วยใบพลวง พื้นเป็นฟาก ไม่มีตะปูเลยสักตัวเพราะเขาใช้ตอกมัด ตามเสาตามฝาเขาเอากระบอกไม้ไผ่ ใส่เฟิ์นบ้าง กล้วยไม้บ้าง ตกแต่งติดห้อยเป็นระยะๆ สวยงาม ส่วนแคร่ ไม้ไผ่ใต้ต้นไม้ก็แสนจะร่มเย็นเป็นสุข น่าเสียดายที่เด็กรุ่นใหม่จะไม่ได้ เห็นของเช่นนั้นอีกแล้ว เสด็จพ่อกราบทูลให้พระบาทสมเด็จ พระเจ้าอยู้หัว เสด็จประพาสหัวเมืองโดยไม่มีโปรแกรม และให้ราษฏรถวายฎีกาฟ้องร้องได้ตั้งแต่เสนาบดีลงไป ส่วนพระราชหัตถเลขาถึง เทศาฯ นั้น ท่านก็ขอ พระราชทานว่าไม่ต้องผ่านทางพระองค์
ท่านก่อน พ.ศ. 2442 ได้เลื่อนพระอิสริยยศเป็นกรมหลวงเมื่อพระชันษา 37 ปี
การเสด็จไปกระทรวงมหาดไทยเป็นประจำวันนั้น ท่านเสด็จขึ้นทางบันไดหลังบ้าง ข้างหน้าบ้างเพื่อจะทอดพระเนตรให้ทั่วถึง ท่านตรัสว่า
การรักษา ความสะอาดและหาคนดีใช้นั้นต้องทนเหนื่อยเอา แม้เสด็จมาอยู่หอพระสมุดและมิวเซียมแล้วก็ยังคทรงทำอยู่เช่นนั้น คือทรงพระดำเนินเป็นรอบ ๆ ทั่วไป และมักจะหยุดทอดพระเนตรคนทำงานตามโต๊ะ บางทีทรงเห็นคนลายมือดีก็สั่งให้ย้ายไปอยู่ทางขีดเขียนคัดลอก
ถ้าคนใดอ่านหนังสือท่านก็ หยุดดูว่าอ่านเรื่องอะไร วันหนึ่งกลับมาแล้วท่านตรัสกับเราว่า “ทั้งๆ ดูอยู่เองด้วยไม่ยอมอยู่ในอำนาจการเพ็ดทูล
ก็ยังถูกหลอก เจ้าคนนั้นมันอ่าน หนังสืออยู่หน้าเดียว 3-4 วันแล้ว คงนึกว่าพ่อไม่สังเกต” แล้วท่านก็ทรงพระสรวล

ครั้งหนึ่งที่กระทรวงมหาดไทย มีห้องเสวยกลางวันอยู่ข้างห้องเสนาบดีเป็นโต๊ะกลมราว 6-7 คน และมีบ๋อยอยู่ประจำ 1 คน พวกเราเด็กๆ
จะออกมาวังกับเสด็จพ่อก็ออกไปนั่งคอยอยู่ในห้องนี้ เพราะบ๋อยให้ กินขนมปังทาเนยโรยน้ำตาล และนั่งดูช้างเผือกอยู่บนขอบหน้าต่างกระทรวง วันหนึ่งพี่ชายข้าพเจ้าซึ่งทำงานอยู่สรรพากรกับมิสเตอร์ไจล์ เพราะ เพิ่งกลับมาจากยุโรป ซื้อจานข้าวแกงเข้าไปนั่งกินที่โต๊ะในห้องนั้น เผอิญเสด็จพ่อจะเสวยน้ำท่านก็เปิดประตูเข้าไปเรียกบ๋อย พอเจอะพี่ชายข้าพเจ้า เข้าเท่านั้นพระพักตร์บึ้งไปทันที ตรัสถามว่า
“เจ้าชายพวกเธอเขากินกันที่ไหน” พี่ชายข้าพเจ้าทูลว่า “ข้างล่าง” ท่านตรัสว่า “เธอก็ลงไปกินกับเขา ที่นี่ห้องเสนาบดี ไม่มีพ่อลูก” ข้าพเจ้ามองดูพี่แล้วสงสาร เพราะลุกขึ้นถือจานข้าวนั้นออกไปทันที ทั้งๆ ที่กำลังกินอยู่อย่างหิวโหย แต่ถ้าเวลาไร เราเห็นพระพักตร์ท่านตึงเช่นนั้นแล้ว
พวกเราจะไม่มีใครดื้อสู้หรือเถียงเลย เพราะรู้ว่าท่านเอาจริง เช่นเดียวกับตำรวจภูธรคนหนึ่งเขาจะไปจับผู้ร้าย อธิบายว่าจะต้องให้ได้ตัวเพราะกลัวในกรมเสนาบดีท่าน ข้าพเจ้าเถียงเขาว่า “กลัวทำไมเด็จพ่อไม่เห็นน่ากลัวเลย” เขาร้องว่า ” อ้าวฝ่าบาทไม่รู้จัก เสด็จพ่อท่านเป็นคนจริงนะซี เราถึงกลัว” แต่สำหรับข้าราชการอื่นๆ ตั้งแต่เทศาฯ เจ้าเมืองฯ ลงมาไม่เห็นมีใครกลัว ข้าพเจ้ารู้สึกว่าทั้งข้าราชการ และเสนาบดีดูจะรักกันมากกว่ากลัวกัน ท่านตรัสสั่งให้ข้าพเจ้าเรียกท่านผู้ใหญ่ว่า คุณตา คุณลุง คุณอา คุณพี่ จนเรานึกว่าเป็นญาติกันจริงๆ เจ้านายต่างเมืองก็ให้เรียกเจ้าลุง เจ้าอา เจ้าพี่ อยู่เสมอ ข้าพเจ้าเคยทูลถามว่า “เด็จพ่อเอาลูกเล็กๆ ไปตรวจราชการด้วยทำไม ดูยุ่มยามจริงๆ ” ท่านตรัสว่า

ท่านตรัสเสมอว่า “อย่ามีพวก เพราะถ้ามีพวกเราจะต้องมีพวกเขาเกิดขึ้น และมากกว่า เสมอด้วย” ครั้งหนึ่งเทศาฯ คนหนึ่งมาทูลลา จะไปรับตำแหน่งใหม่ ท่านตรัสบอกว่า

อีกข้อหนึ่งท่านตรัสว่า นายอำเภอดีเป็นเจ้าเมืองได้ทุกคน แต่เจ้าเมืองดีเป็นเทศาฯไม่ได้ทุกคน ด้วยทรงอธิบายว่า เพราะเทศาฯ ต้องใช้ความคิดให้กว้างขวางด้วย มีเจ้าเมืองเก่าๆ บางคนท่านตรัสบอกตรง ๆ ว่า “เจ้าคุณอย่าเป็นเทศาฯ เลยนะ เพราะเหตุการณ์ มันเปลี่ยนแปลงไปมาก ฉันรู้ว่าเจ้าคุณทำไม่ได้ ถ้าส่งเข้าไปทั้งรู้ก็แปลว่าส่งเข้าไปให้เสียชื่อ เท่ากับฉันฆ่าเจ้าคุณเปล่า ๆ เอาบำนาญเป็นสุขเมื่อ แก่ดีกว่า” เจ้าคุณพวกนั้นหลายคนก็มีได้โกรธเคือง กลับตามมาทำงานให้หอพระสมุดเปล่าๆ อีกด้วย เสด็จพ่อไม่ทรงกริ้วใครต่อหน้าคนถ้าใครผิดก็ เรียกเข้าห้องเสนาบดีพูดชี้แจงขอกันตรง ๆ เพราะท่านตรัสว่าความผิดกับความชั่วไม่เหมือนกัน ถ้าผิดต้องให้โอกาส แต่ถ้าชั่วจนช่วยไม่ได้แล้วต้อง ตัดไปเลย เรื่องศัตรูเหมือนกัน ถ้าเราหนีพ้น ก็หนีให้สุดไกล แต่ถ้าหนีไม่พ้น จงเข้าใกล้จนรู้เสมอว่าเขาทำอะไรและเราทำอะไร ข้าพเจ้าไม่เคยได้ยิน คำหยาบจากเสด็จพ่อเลยตั้งแต่เกิดมา ถ้ากริ้วใครผิดไปท่านก็กลับไปขอโทษ แม้พวกมหาดเล็ก

เสด็จพ่อทรงมีความจำแม่นอย่างประหลาดแม้ในเวลาทรงพระชราแล้ว ถ้าเราอ่านข่าวเรื่องพบของโบราณที่อำเภออะไรในหนังสือพิมพ์
ยังไม่ทัน ออกชื่อเมือง ท่านจะทรงบอกต่อได้ทันทีว่า อำเภอนั้นอยู่ต่ออำเภอนั้น เวลาไปทางเรือก็จะตรัสบอกได้ทุกแห่งว่าตรงไหน มีเรื่องราวเกี่ยวข้องกับ ในทางพงศาวดารหรือเรื่องนิทานอะไร เพียงแลเห็นเขาเป็นเงาๆ เท่านั้น ท่านจะทรงบอกได้ทันทัว่าเขาอะไรอยู่ที่ไหน เข้าใจว่าแผนที่สยามอยู่ใน พระเนตรท่านตลอดเวลา ถ้าไปทางเรือในแม่น้ำ ถึงคลองบางแมว เมืองอ่างทอง ท่านจะทรงชี้ให้ดูทุกทีว่า “ตรงนี้เถรขวาดกระโดดลงน้ำเป็นจระเข้” ตรัสว่า เสภาขุนช้างขุนแผนนั้น แผนที่ดีนัก ได้เคยให้สำรวจท้องที่เป็นถูกทุกหมู่บ้านและอำเภอ ด้วยเหตุนี้อย่างหนึ่งที่ทรงเห็นว่าไม่ควรจะเปลี่ยน ชื่อท้องที่ เพราะทำให้เสียความรู้ในทางพงศาวดารว่าแห่งหนตำบลใดแน่ ถ้าเป็นเสด็จทางเรือทะเล
คือ เรือไฟชื่อนครศรีธรรมราช ไปตรวจทาง ปักษ์ใต้ก็ลงเรือนั้นไปจากกรุงทพฯ แล้วจอดขึ้นเรือเล็กไปตามสถานที่ต่างๆ ได้เดินทางบกโดยกระบวนช้าง ครั้งหนึ่งเมื่อเสด็จไปกรุยทางรถไฟสายใต้ ในฐานะเป็นเจ้าของท้องที่ ต้องตื่นแต่มืด พอตี 5 ก็ออกเดินกระบวนช้างเป็นแถว ข้าพเจ้ายังเล็กมีพี่เลี้ยงแม่นมไปด้วยคนละช้าง วันแรกๆ เมาช้างร้องไห้ไปตลอดทางหรือจะเป็นเพราะกลัวช้างด้วยก็ได้ รู้สึกว่ากลัวตั้งแต่ขึ้นเกยไปแล้วเพราะจะต้องเหยียบตรงคอมันโดดเข้าไปในกูบ ซึ่งพี่เลี้ยงเขาขึ้นไปคอยรับอยู่ก่อน เดินทางไปจนถึงเที่ยงก็ได้หยุดพักกินกลางวัน พอบ่าย 17 น. ก็ออกเดินใหม่ ถึงบ่าย 17 น. จึงจะถึงที่พัก เมื่อต้องขี่ช้างแต่ 5 น. เช้าจนถึง 5 น. เย็นทุกวันเข้าก็เลยหายเมาไปเอง แต่มีเจ้าคุณรัษฎาฯ ซิมบี๊ท่านคอยเลี้ยง พอหยุดพักกลางวันเป็นแอบมา กวักมือเรียกให้ไปกินทุเรียนกับท่าน เพราะเด็จพ่อท่านทรงเกลียดพอเห็นก็ไล่ทุกทีว่า “ไปๆ ไปกินให้พ้น” เราเด็กๆ ชอบ ยังจำท่าทางเจ้าคุณรัษฎาฯ ท่านนั่งขัดสมาธิจิ้มทุเรียนใส่ปากทีละเม็ดได้ดี อีกเรื่องหนึ่งคือเรื่องดินฟ้าอากาศ เสด็จพ่อท่านทรงกะไม่ผิดเลยว่าฤดูนั้นจะต้องไปทางไหน การตรงเวลาอย่างหนึ่ง ท่านทรงถือมากว่า ผู้ใดไม่ถือเวลาเป็นสำคัญ ผู้นั้นเป็นคนไม่มีหลักเชื่อถือไม่ได้ เพราะโลเลเวลาของท่านต้องเป๋งทุกที เช่น จะไปรถไฟพอขึ้นรถๆ ก็ออกพอดี ในเวลาเสด็จในยุโรปใน พ.ศ.2473 พอถึงโฮเต็ลวันแรกท่านก็ตรัสบอกพวกตามเสด็จทุกคนรวมทั้ง เราด้วย “ฉันกินกลางวันบ่ายโมง (13 น.) กินเย็น 2 ทุ่ม (20 น.)” แล้วไม่ตรัสซ้ำอีก พออีก 10 นาทีจะถึงเวลา ท่านเป็นลงไปห้องรับแขกแล้ว ทอดพระเนตรรูปบ้าง หนังสือนำเที่ยวและของขายบ้างพอถึงบ่ายโมงเป็นเสด็จเข้าประทับโต๊ะแม้จะเป็นพระองค์เดียว บ๋อยประจำโต๊ะก็เริ่มเสิฟ อาหาร ฉะนั้นถ้าใครเข้าไปทีหลังก็ได้กินอาหารน้อยสิ่งเพราะผ่านไปเสียแล้ว
อย่างไรก็ตาม เสด็จพ่อได้ทรงทำงานที่สำคัญที่สุดในพระชนม์ชีพของพระองค์ท่าน คือจัดการปกครองแบบใหม่อยู่ถึง 23 ปี ทรงตั้งมณฑล 18 มณฑล จังหวัด 71 จังหวัด โดยไม่มีลูกของพระองค์ท่านเป็นเจ้าบ้านผ่านเมืองเลยสักคนเดียว การเลือกตั้งผู้ใหญ่บ้านกำนันก็ตั้งแบบไว้ เพื่อฝึกหัดจะให้เป็นประชาธิปไตย เมื่อเลือกกันได้แล้ว ก็ตรัสสั่งไปยังเจ้าเมืองนายอำเภอว่าให้เรียกกำนันผู้ใหญ่บ้านมาประชุมด้วยทุกครั้งและ ให้ไต่ถามแกว่าจะต้องการสะพาน ถนน ตรงไหนๆ และมีอะไรอีกบ้างที่จะต้องการ คำตอบโดยมากก็มีแต่ว่า ขอรับแล้วแต่ใต้เท้าจะเห็นควรเท่านั้น ประชาธิปไตยจึงคงเป็นไปได้เพียงเลือกกำนันผู้ใหญ่บ้านได้เองตลอดมา ส่วนการตำรวจภูธรนั้นโปรดให้พระยาวาสุเทพ (ครูเชาว์ ชาวเดนมาร์ก) เป็นผู้บังคับการ เจ้าคุณผู้นี้ตรวจงานโดยไม่มีกำหนด บางทีเวลา 24 น. ก็ขอติดรถไฟสินค้าไปและหยุดตามสถานีตำรวจต่างๆ และค้างคืนที่นั่น งานตำรวจภูธรจึงเรียบร้อยและเร็วเหมือนกันทุกแห่ง จนในหลวงตรัสว่า “ฉันเบื่อโรงตำรวจของกรมดำรงฯ” เพราะเหมือนๆ กันทุกแห่ง ส่วนการสืบเสาะค้นคว้าในพงศาวดารและโบราณคดีเป็นผลพลอยได้จากการมหาดไทย เพราะเผอิญให้ท่านโปรดในทางนั้นอยู่ด้วย เราจึงได้ความรู้ กันอย่างสนุกสนาน และยอมรับว่าท่านเป็น พระบิดาแห่งประวัติศาสตร์แต่อย่างเดียว บางคนก็ยังมีข้อกังขาว่าสมเด็จกรมพระยาฯ ท่านรู้ได้อย่างไร ข้าพเจ้าจึงบอกไว้เสียในที่นี้ด้วยว่า เสด็จพ่อทรงเรียนโบราณคดีจากพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวและสมเด็จกรมพระยาบำราบ ปรปักษ์ พระราชโอรสรัชกาลที่ 2 ทั้ง 2 พระองค์นี้ ท่านทรงเรียนมาจากพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวๆ ประสูติในรัชกาลที่ 1  ทรงมี พระชันษาถึง 30 ปีเศษแล้ว เมื่อกรุงเก่าแตก ฉะนั้นจึงไม่ได้รู้ด้วยการเล่าลือ หรือฝันขึ้นเองเลย อีกประการหนึ่งคนแต่ก่อนความจำท่านแม่นยำ และท่านมักจะเล่ากันต่อๆ มาให้ลูกหลานฟัง เช่นตัวข้าพเจ้าเองก็ได้รู้เรื่องต่างๆ จากผู้หลักผู้ใหญ่มาเป็นชั้นๆ และเกิดในรัชกาลที่ 5 ก็ยังจำ เหตุการณ์และพบผู้รู้เห็นในรัชกาลนั้นมาตลอด จึงจำได้ไม่ลืมเลือน ผลของการเหนื่อยยากของเสด็จพ่อที่ได้รับเป็นส่วนพระองค์นอกจาก ได้รับพระราชทานที่วังถนนหลานหลวงเป็นรางวัลในการจัดตั้งมณฑลได้สำเร็จแล้ว ก็คือได้พระนามว่าเป็นบิดาประวัติศาสตร์ และได้เลื่อน พระอิสริยยศเป็นกรมพระเมื่อ พ.ศ. 2454 พระชันษา 49 ปี
เสด็จพ่อประชวรต้องทรงพักราชการใน พ.ศ. 2457 แล้วหมอถวายความเห็นว่าทำงานหนักไม่ได้ต่อไป จึงกราบถวายบังคมลาออกจากตำแหน่ง เสนาบดีกระทรวงมหาดไทย เมื่อวันที่ 12 สิงหาคม พ.ศ. 2458