1949年年初，張愛萍傷愈歸隊(duì)，本想回到前線后要求給支隊(duì)伍“打過長江，沖進(jìn)‘總統(tǒng)府’”，卻意外接到了不參加渡江戰(zhàn)役，留下來組建華東海軍的任務(wù)。張愛萍回憶：“會(huì)后，陳毅同志和我促膝長談，縱論國內(nèi)外大事，展望勝利前景。他向我傳達(dá)了黨中央和中央軍委的決定，為了解放全中國，防止帝國主義的侵略，并為迎接解放臺(tái)灣的任務(wù)做好準(zhǔn)備，決定由第三野戰(zhàn)軍組建海軍，委任我擔(dān)任司令員兼政治委員。聽了陳毅同志的傳達(dá)，我感到非常興奮，又感到壓力很大。在此之前，黨中央和中央軍委把組建人民空軍的任務(wù)交給了第四野戰(zhàn)軍……現(xiàn)在又及時(shí)地作出了組建海軍的決定，這就使中國人民解放軍由單一的軍種成為陸海空軍種齊全的人民軍隊(duì)，無疑是我軍建設(shè)史上一個(gè)重大的事件。然而，要我來組建海軍，我毫無思想準(zhǔn)備。海軍是技術(shù)性很強(qiáng)、陸海空諸兵種特點(diǎn)俱備的現(xiàn)代化軍種，一時(shí)還感到無從下手。白手起家，難度將是很大的。當(dāng)時(shí)我向陳老總說：‘搞海軍，我自己連游泳都勉強(qiáng)，難以勝任。’陳毅同志強(qiáng)調(diào)，這是歷史逼著我們?nèi)ジ傻模�而且非干好不可，要你去干，是黨中央對(duì)你的信任，你是合適的人選。就這樣，我受命于關(guān)鍵之時(shí)，從此把全副精力投入到組建海軍的調(diào)查研究和策劃之中。”

渡江戰(zhàn)役前夕，張愛萍來到第三野戰(zhàn)軍司令部的駐地江蘇泰州白馬廟，見到了粟裕，研究組建海軍的準(zhǔn)備工作。粟裕介紹說：“部隊(duì)正要過江，準(zhǔn)備把三野教導(dǎo)師的機(jī)關(guān)和一個(gè)團(tuán)的部隊(duì)，以及野戰(zhàn)軍司令部的一個(gè)偵察營和蘇北的海防縱隊(duì)4000多人，全部調(diào)歸海軍由你指揮。”“但三野教導(dǎo)師機(jī)關(guān)的人還不在這里。我只幫你找到了幾個(gè)人，一個(gè)是28軍84師的副參謀長李進(jìn)，一個(gè)是三野司令部的作戰(zhàn)參謀黃勝天，另兩個(gè)是軍工部采購科科長張渭青和機(jī)關(guān)管理員溫禮芝。這樣連你5個(gè)人，算是第一批海軍的籌備人員，以后再陸續(xù)給你補(bǔ)充。”

1949年4月23日，人民解放軍占領(lǐng)南京。同日的下午1點(diǎn)30分，張愛萍將海軍籌備人員一共13人（5名干部和8名戰(zhàn)士）召集在一起，在泰州白馬廟——三野渡江指揮所的兩層小樓里，召開了一次會(huì)議，正式宣布華東海軍于今天成立。此時(shí)此刻，這支海軍只有13人，所有現(xiàn)代化機(jī)械裝備僅美制吉普車3輛，無一艘現(xiàn)代化戰(zhàn)艦。這一天——4月23日，在1989年2月17日被中央軍委頒文確定為人民海軍誕生日。

就在這一天，國民黨海軍給人民解放軍海軍送了一個(gè)大大的禮包。4月23日下午3點(diǎn)30分，也就是會(huì)議召開的兩個(gè)小時(shí)后，原國民黨海防第二艦隊(duì)司令林尊在南京笆斗山江面宣布率部起義，投入人民的懷抱。起義部隊(duì)帶來了61艘艦艇，1671名海軍專業(yè)官兵。

為了網(wǎng)羅海軍人才，張愛萍到上海后，于1949年6月的一天在 《大公報(bào)》上發(fā)表招聘啟事，主要內(nèi)容是為創(chuàng)建人民海軍，羅致海軍人才，業(yè)已成立登記國民黨海軍人員辦事處，凡一切曾在國民黨海軍中工作，而今后決心獻(xiàn)身新民主主義革命事業(yè)，志愿為人民海軍服務(wù)者，均可前往該處報(bào)到登記，以備量才錄用。上海辦事處設(shè)在重慶南路182號(hào)。接著又派人到青島、福州、廣州、廈門等地設(shè)立了登記辦公室，在報(bào)刊上公布了登記手續(xù)和辦法，并強(qiáng)調(diào)指出：“凡曾在國民黨海軍服務(wù)，不論脫離遲早，不論官佐士兵，或階級(jí)高低，不論航海、輪機(jī)、制造、槍炮、通訊、測量、軍需、醫(yī)務(wù)，或其他行政人員，均可前來登記。”

張愛萍回憶：“此舉效用甚大，短短幾個(gè)月中，報(bào)名登記的已達(dá)1100余人，其中包括國民黨海軍元老，如曾以鼎中將、周應(yīng)聰少將、曾國晟、羅柳溪、馬瑞希、呂美華、楊滄活、江偉衡和金聲同志介紹的國民黨海軍司令部辦公廳副主任（代主任）徐時(shí)輔等原海軍人員。為了原海軍人員的來到，我們?cè)�多次召開歡迎會(huì)。我在歡迎會(huì)上說：‘這樣的歡迎會(huì)今后我們還要繼續(xù)不斷地開下去，一直開到臺(tái)灣去！’對(duì)此，著名的歌唱家朱崇懋特地譜了一支歌《把歡迎會(huì)開到臺(tái)灣去》，有力地激勵(lì)著原海軍人員參加人民海軍行列。這樣，連同第二艦隊(duì)和其他陸續(xù)起義的國民黨海軍人員投身到人民海軍來的已達(dá)4000余人，形成了一支相當(dāng)可觀的技術(shù)隊(duì)伍。”

1949年8月28日，毛澤東召見了張愛萍和林遵等原國民黨海軍高級(jí)官員，他對(duì)林遵說：你們懂得科學(xué)知識(shí)，有技術(shù)，我們新同志要向你們學(xué)習(xí)。人民解放軍有優(yōu)良的政治工作和戰(zhàn)斗作風(fēng)，你們也要向新海軍學(xué)習(xí)。新老海軍要團(tuán)結(jié)，相互學(xué)習(xí)，共同為建設(shè)強(qiáng)大的人民海軍而奮斗。

于是，開國大典的閱兵式上，也就有了人民海軍方隊(duì)。