מרגולין נולד ב-1900 בעיירה פינסק (אז בתחום המושב היהודי של האימפריה הרוסית, לימים בפולין וכיום בבלארוס), והתחנך בשפה הרוסית. ב-1926 נישא לאווה ספקטור. ב-1929 קיבל תואר דוקטור לפילוסופיה.
ב-1936 עלה מרגולין לארץ ישראל יחד עם משפחתו. ב-1939 חזר לפולין על מנת להסדיר עניינים הקשורים למשפחתו ולרכושו, ונלכד שם עם פרוץ המלחמה. הוא נמלט מאימת הכיבוש הגרמני לצד הסובייטי, ונעצר שם ביוני 1940.
כאזרח פולני תושב ארץ ישראל נחשד מרגולין מיד בריגול ונידון לחמש שנות מאסר במחנה עבודה בסיביר. למרות התנאים הקשים במחנה, שכללו עבודת פרך בקור של 25 מעלות מתחת לאפס, שרד מרגולין עד לשחרורו.
לאחר שחרורו, קיבל את אישור השלטונות הסובייטיים לחזור ללודז' שבפולין, משם יצא דרך צרפת חזרה לארץ ישראל.
את חוויותיו במחנה כתב מרגולין בספר "מסע לארץ ה"זה-קה" ("זה-קה" - כינוי ברוסית לאסיר במחנות עבודה ברוסיה, בעיקר לתעלת בלומורקנאל). הספר יצא תורגם מרוסית לאנגלית ולצרפתית, אך בישראל נדחה על ידי הוצאות הספרים. רק בסוף שנת 2013 יצא הספר בגירסתו המלאה בתרגום לעברית של ד"ר עירית שקד, בהוצאת כרמל, ירושלים, תחת הכותרת: "מסע לארץ האסירים", עם מבוא מאת פרופ' ליובה יורגנסון.
