1927年11月，身为南昌起义部队参谋长的刘伯承，从广东撤回上海。不久，受中共中央的委派，他与吴玉章、林伯渠等30余人一起，从上海登上了驶往苏联的轮船到达符拉迪沃斯托克，并于1927年1月下旬抵达莫斯科，开始了留学生涯。
刘伯承首先被送往高级步兵学校学习语言和基础课程。为欢迎参加南昌起义的中国学员，学校举行了隆重的欢迎仪式。刘伯承代表中国同学致答谢词，他说：“我国革命事业暂时遭受挫折，党派我们来到列宁的故乡学习，这是极大的荣幸。我们要努力学习，勉作布尔什维克，国内的革命事业在等待着我们。”
入学后，刘伯承编在第16班，并任支部委员。为了能直接阅读俄文书籍，直接听懂苏联教官讲课，刘伯承抓紧一切课余时间背俄文单词或整理笔记。他除自备单词小本外，每日必在左手手心中写满生词，直到完全记熟后才另换新词。碰到自己弄不懂的地方，就虚心向同学们请教。莫斯科冬天的早晨，气温大都在零下15摄氏度左右。每天早晨，刘伯承都提前来到操场上朗读俄语。夜间，为了不影响别人休息，刘伯承就寝之后就蒙上个毯子，在“小帐篷”里学习，“视文法如钱串，视生字如铜钱，汲汲然日夜积累之;视疑难如敌阵，惶惶然日夜攻占之”。经过半年的学习，他的俄语学习突飞猛进，能直接听教官讲课，直接阅读俄文教材，阅读和翻译能力在16班是最好的。
1928年6月，刘伯承出席在莫斯科召开的中国共产党第六次全国代表大会。周恩来作组织问题和军事问题报告，刘伯承作军事问题的副报告，提出了“对于军事，人人都要重视它、学习它，武装工农，领导工农夺取政权”的观点。
10月，由于学习成绩优异，刘伯承被推荐进入伏龙芝军事学院继续深造，在校的名字为鲍里斯·伊万诺维奇·阿法纳西耶夫。伏龙芝军事学院是一所专为苏联红军培养高级军事指挥人才的最高军事学府。为了配合和支援中共的武装斗争路线，苏联除了对中国学员开放一大批军事院校外，还在伏龙芝军事学院开设了专为中共培养高级军事指挥干部的“特别班”。
进入伏龙芝军事学院后，刘伯承更加勤奋地学习俄语和其他课程。他曾说:“来这里学习，机会很难得，要争取时间多学点东西。党随时都可能叫我们回去参加战斗，那时就没有这么安定的环境和时间了。”
当时伏龙芝军事学院“基本系”学制为三年，教学分为冬夏二季。冬季学期主修理论课程，夏季学期则是实践和演练。在校期间，刘伯承得益于熟练掌握的俄文，阅读了大量马列著作;学习了苏联红军的各种条令和有关司令部组织指挥的知识，以及正规战的战术、游击战的战术、军区和野战部队的建设等较系统的军事理论;也涉猎了历史上著名军事家的事迹和论著，从而大大提高了理论水平和军事素养。也就是在这里，他萌发了翻译苏联军事理论著作为国内革命战争所用的念头，并尝试着翻译出他的第一篇处女译作《苏联步兵操典》。
“特别班”的学员在战术教员的带领下，多次到高加索、敖德萨、明斯克等地进行野外战术作业和战术训练。1929年3、4月间，刘伯承参加了在高加索的联合兵种演习，在那里考察地形，研讨战术，获益匪浅;1929年秋到1930年春，刘伯承受学校指派，前往伯力执行了训练“远东工人游击队”的“特殊任务”。
伏龙芝军事学院对中国留学生的教育，坚持学习军事理论与中国革命实践相结合的原则。驻共产国际中共代表团经常把国内有关重要文件和信息转到学院，作为留学生学习的参考。1929年4月，在一次研讨会上，中国学员就毛泽东写的两本小册子——《中国的红色政权为什么能够存在》和《井冈山的斗争》展开了热烈讨论。刘伯承强调“中国的革命同苏联的情况不同，中国一定要依靠农民。否则革命是不能成功的”，还表达了自己强烈希望回国到井冈山与毛泽东、朱德等同志并肩战斗的意愿。
随着国内革命形势发生的变化，中共中央迫切需要军事人才回国从事武装斗争。刘伯承听到消息后很受鼓舞。1930年5月，刘伯承被组织上安排启程回国，于8月到达上海，担任军委编译科长，开启了新的革命征程。
