עם קום המדינה התמנה נחמיה ארגוב לשלישו הצבאי של בן-גוריון ובינואר 1950 נתמנה למזכירו הצבאי, בדרגות סגן אלוף ולאחר מכן אלוף משנה. ארגוב נמנה עם מקורביו של בן-גוריון. בתחילת 1952 עבר ארגוב קורס מפקדי גדודים וחטיבות ובתחילת 1955 סיים קורס צניחה. בתקופה בה שהה בן-גוריון בשדה בוקר, החל מדצמבר 1953, לא שימש ארגוב בתפקידו. עם שובו של בן-גוריון לתפקיד ראש הממשלה, בפברואר 1955, שב ארגוב לתפקידו.
ממצאים חדשים בספרו המרתק של אבי שילון , בן-גוריון , אפילוג (עם עובד 2013) חושפים עתה פרטים חדשים על אחד האירועים שהשפיעו באופן אישי על דוד בן גוריון יותר מכל אירוע אחר בחייו:
"לאחר פרישתו של דוד בן גוריון מהכנסת החל שוב לכתוב ביומנו. הוא ביקש למצוא את מכתב ההתאבדות שהותיר נחמיה ארגוב , שלישו הצבאי הנאמן בשנותיה הראשונות של המדינה. הוא החליט לייחד לנחמיה את המקום הראוי בזכרונותיו. הוא ביקש להבין כיצד יכול היה עוזרו הנאמן לוותר על חייו בצעירותו. לאחר שלא הצליח לאתר את מכתב ההתאבדות , ביקש לחפשו בארכיון משרד הביטחון.
יחסיהם של בן גוריון ועוזרו היו מורכבים. בעיני ארגוב , שהתגורר לבדו בדירת קרקע ונטה להתאהב בקלות בנשים, היה בן גוריון כל מה שהוע עצמו לא היה : מנהיג תקיף , יצוק מפלדה , גיבור אגדי שאינו נרתע מהחלטות. "אם נותר לי בחיים משהו הרי זאת העובדה שזכיתי ורשאי אני להימצא בחברתו של איש גדול זה", כתב עליו בההערצה . לבן גוריון לא היה בהתחלה נוח עם הגישה הזאת של נחמיה ארגוב ביחס אליו , אך הוא נכבש במסירותו.
בשנותיה הראשונות של המדינה היה ארגוב בן לוויתו בכל דבר ועניין – מהמעיל שהגיש לו בצאתו מהמשרד ועד האוזן הקשבת שהציע לו כדי שיוכל להשיח את אשר על לבו בחופשיות . ארגוב היה היחיד שבן גוריון הרשה לו לזייף את חתימתו על מכתבים כלליים ורשמיים.
ב29 באוקטובר 1957 , כאשר בחור תימהוני, משה דואק , הטיל רימון לעבר שולחן הממשלה בעת ישיבת הממשלה בעת ישיבת הכנסת , לא שהה ארגוב לצד בן גוריון. לאחר מכן דווח לו כי ראש הממשלה נפגע קל מרסיסי הרימון בזרועו וברגלו. בן גוריון לא התרגש יתר על המידה ואף כתב לאמו של דואק כי הוא סולח ומכיר בצער המשפחה על המעשה שהגדיר " מתועב ואווילי" כאחד.
אך בעיני ארגוב היה מראהו של בן גוריון מרותק למיטה בבית החולים נורא. הוא כמעט לא מש מחדרו, בא ויצא מבית החולים לשליחויות שונות בשירות משרד ראש ממשלה. בהמולה ששררה במחלקה, רק מעטים הבחינו שפניו, הנוגים ממילא, מסתירים סערת נפש. באחת משליחויותיו , בעודו נוהג במכונית מתל אביב לירושלים , איבד את הריכוז ופגע ברוכב אופניים, דוד קדוש , אב לארבעה. קדוש נפצע קשה. ב2 לנובמבר 1957 , זמן קצר לאחר התאונה , טען ארגוב את האקדח שהחזיק אליו וכיוונו לראשו. בצוואתו ציווה את רכושו למשפחתו של קדוש , אשר עם הזמן החלים מפצעיו. בדיעבד, מתברר כיום, כי המשבר הנפשי של נחמיה ארגוב הועצם גם מאהבה נכזבת אשר חווה בתקופה זו.
התאבדותו של נחמיה ארגוב זעזעה גם את מקורביו של ראש הממשלה, והם חששו להעמיס עליו צער נוסף בשעה שהוא בבית החולים. בעצה אחת פנו משה דיין, יצחק נבון , שמעון פרס וטדי קולק לעורכי כמה מהעיתונים הנפוצים וביקשו להסתיר את סיפור התאבדותו עד לאחר שה"זקן" יתאושש מפצעיו. העורכים ניאותו. בבתי הדפוס הודפסה מהדורה מיוחדת, נטולת הידיעה על מות נחמיה ארגוב, והיא הוגשה לבן גוריון לקריאה במיטתו בבתי החולים. שאר האזרחים יכלו לקרוא על ההתאבדות במהדורה האמיתית . רק בחלוף יומיים דיווחו לבן-גוריון על שאירע לארגוב והגישו לו גם את המכתב שהשאיר אחריו.
"כשם שאתה חזק, ודאי היית רוצה שהעובדים במחיצתך יהיו חזקים ולא ייכנעו לפגעי החיים הפוקדים אותנו כל יום. סלח לי על חולשתי זו ובל יצערך הדבר, כי אינני ראוי לכך… היה חזק ובריא כי העם זקוק לך, גם אלה שאינם מודים בכך.
אוהבך נחמיה"
בן גוריון קרא , הפנה את גבו לעוזריו , ובעודם מחוץ לגדר הם האזינו בדממה לבכיו.
ארגוב היה האדם הראשון שכתב עליו בן גוריון ביומנו לאחר שפרש מהכנסת בשנת 1970 . יותר מאי פעם נזקק עתה לנאמנותו , למסירותו, לכנותו . עתה אף התייסר עם עצמו שמא היה צריך להיות קשוב יותר למצוקותיו הנפשיות של עוזרו ".
