清代第一次移民的客家人很多，他們曾經在此長期大量墾殖與開發，並落戶建立自已的家業與宗廟，為何至今少見其蹤跡呢？事實上考察早年台北客家人的消長，不論是被迫搬離或在地化，均呈現下面幾項強烈因果關係：

 1 渡台禁令所形成的人口差距：

清初平定鄭氏王朝後於康熙二十三年（1684）詔設台灣府，實施渡台禁令，嚴禁粵人來台，根據范咸《重修台灣府志》的記載：「台灣始入版圖，為五方雜處之區，而閩、粵之人尤多。先時，鄭逆竊踞海上，開墾十無二、三。迨鄭逆平後，招徠墾田報戶。終將軍施琅之世，嚴禁粵中惠、潮之民，不許渡台，蓋惡惠、潮之地，數為海盜淵籔而積習未忘也，琅歿，漸弛其禁，惠、潮民乃得越渡。」影響所及使得客家渡台人口受到阻擋，大量移民的時期也延遲一些，相關禁令雖然「五禁四弛」時緊時鬆，但較好田地已有漳泉人士墾拓，大大影響來台客家人的移民意願及其實際人數。

2 械鬥時起，變賣家產搬離或被他族強行驅離：

以「廣福宮」三山國王廟為例，座落於新莊舊街上，所祭拜的三山神是粵東潮州府轄下九縣人民的守護神，當粵人渡台，多奉其香火前來，故被視為客籍人士的聚落象徵。

以廣福宮的沿革來看，聚集於此的客家鄉親在遭受械鬥之害時，不得不拋棄田產遷離此地，大大削減了台北客家人口，唯人數並無確切數目。

3 主佃利益分配所產生的排擠與融合作用：

在先來為主，後到為佃的農墾社會中，主佃利益分配十分懸殊，客家佃戶為爭取地位「反客為主」的過程產生了排擠作用，而人口增加的壓力又造成沈重的負擔。汀籍墾戶胡焯猷是一個成功的案例，他捐學建廟，謀求長治久安，先後於乾隆十七年捐地建「西雲寺」、乾隆二十六年捐宅地及田園設「明志書院」等，著力頗深。明志書院成為「北台首學」的壯舉，胡焯猷奉獻甚力，應是客屬移民落戶本地的盛事，對安撫及教育各族人士有實際貢獻，但仍無法改變自我族群人口落差太大的事實。至於一般客籍移民，更無胡氏的身份與財力，只能默默採取「在地化」的生存模式，選擇了隱藏族群身份的途徑，以求繼續餬口營生，久而久之，後代族裔也就少聞客家祖語。

4 雙語家族的落地生根：

來自福建漳州及廣東潮州的客家移民，在祖籍地已是閩語、客語共生共用的雙語環境，來台之後在北部墾拓，因為多是處於福佬人所在區域，受限於生存條件的聯絡及需要，出現逐漸放棄客家祖語的使用，而以單一福佬話做為生活溝通的現象。歷經數代繁衍，傳統族群意識淡化，文化身份認同向主流人口靠攏，形成了一種轉化過程，其后裔就變為所謂的「福佬客」了。