Beberapa kali Abdurrahman bin Auf menyaksikan Umar solat di rumahnya. Yang menarik perhatiannya, bukanlah tata cara solatnya, tetapi sajadah yang biasa digunakan Umar. Seorang ketua negara dengan wilayah kekuasaan yang membentang luas sampai Mesir, berhasil mengalahkan dua imperium besar, Romawi Timur dan Persia solat di atas sajadah yang usang. Timbul rasa bersalah dalam hati Abdurrahman. Ia ingin membelikan sajadah baru yang mahal dan indah untuk sang Amirul Mukminin.
Tetapi, Abdurrahman ragu, apakah Umar mahu menerimanya. Dia tahu persis watak Umar yang tidak mahu diberi hadiah apa pun walau hanya selembar sajadah.
Abdurrahman akhirnya memberikan sebuah sajadah melalui isteri Umar, Ummu Abdillah. Melihat sajadah baru, Umar memanggil isterinya dan menanyakan siapa yang memberi sajadah ini. "Abdurrahman bin Auf," jawab isterinya. "Kembalikan sajadah ini kepada Abdurrahman. Saya sudah cukup puas dengan sajadah yang saya miliki." Begitulah watak Umar bin Khattab. Tidak hanya adil dan bijaksana, beliau dikenal dengan sifat zuhudnya, hidup sederhana. Tidak hanya untuk ukuran seorang pemerintah negara, bahkan bagi orang biasa sekalipun.
Suatu hari, Umar melakukan kunjunganke kawasan yang berada di bawah kekuasaannya. Gabenor menjamu Umar makan malam dengan jamuan yang istimewa, sebagaimana lazimnya perjamuan untuk ketua negara. Umar kemudian bertanya kepada sang gabenor, "Apakah hidangan ini adalah makanan yang biasa dinikmati oleh seluruh rakyatmu?"
Dengan gugup, sang gabenor menjawab, "Tentu tidak, wahai Amirul Mukminni. Ini adalah hidangan istimewa untuk menghormatimu." Umar lantas berdiri dan bersuara keras, "Demi Allah, saya ingin menjadi orang terakhir yang menikmatinya. Setelah seluruh rakyat dapat menikmati hidangan seperti ini, baru saya akan memakannya." Itulah sifat Umar bin Khattab, seorang pemerintah negara yang zuhud.
Di lain kesempatan, sehabis solat zuhur, Umar meminta selembar permadani Persia yang indah untuk dibawa pulang ke rumahnya. Tentu saja, hal ini membuat para sahabat hairan. Hari itu, Umar bin Khattab membahagi harta rampasan perang yang dibawa oleh pasukan Sa'ad bin Abi Waqqash yang berhasil menaklukkan Kota Madain, ibu kota imperium Persia kepada semua rakyatnya. "Bagaimana pendapat kalian, jika permadani ini aku bawa pulang ke rumahku?" Gembira bercampur kaget, para sahabat tergopoh-gopoh menyetujuinya. "Tentu saja wahai Amirul Mukminin, kami setuju sekali anda membawanya pulang."
Ketika tiba waktu asar, Umar membawa kembali permadani tersebut. Kali ini, permadani itu sudah dipotong menjadi kepingan kecil, dan Umar membahagikan kepada beberapa sahabatnya. Dengan senyum, Umar berkata, "Hampir saja saya tergoda oleh permadani indah ini." Masya Allah, begitulah Umar, sang pemerintah negara.
