传说，达摩是天竺国香至王的第三个儿子，自幼拜释迦牟尼的大弟子摩诃迦叶之后的第二十七代佛祖般若多罗为师。
有一天，达摩向他的师傅求教说："我得到佛法以后，应到何地传化？"般若多罗说："你应该去震旦（即中国）"。又说："你到震旦以后，不要住在南方，那里的君主喜好功业，不能领悟佛理"。
达摩遵照师父的嘱咐，准备好行李，驾起一叶扁舟，乘风破浪，飘洋过海，用了三年时间，历尽艰难曲折，来到了中国。达摩到中国以后，广州刺史得知此事，急忙禀报金陵，梁武帝王将相衍立即派使臣把达摩接到南京，为其接风洗尘，宾客相待。
武帝是一个佛教信徒，主张自我解脱。达摩是禅宗大乘派，主张面壁静坐，普渡众生。由于他们的主张不同，每谈论起佛事，二人总是不投机。这时达摩感到南京不是久留活动的地方，于是便告辞萧衍，渡江北上。
中国有个高僧，名叫神光，是河南省荥阳县人。当时神光在南京雨花台讲经说法，当地群众称："神光讲经，委婉动听，地生金莲，顽石点头"。围观听讲的人是里三层，外三层，水泄不通，达摩离开梁武帝北上，路过雨花台，见到神光在那里讲经说法，他就顺便挤在人群中，侧耳倾听。达摩听讲，听到有些地方点点头，听到有些地方摇摇头。点头表示赞同神光讲的观点，摇头表示对神光讲的观点不赞同。神光在讲解中，发现达摩摇头，认为这是对自己的最大不尊，便问达摩："你为什么摇头？"对佛学的认识二人因有分歧意见，达摩便主动让步，离开雨花台渡江北上去了。
达摩去后，听讲的群众有人对神光说："刚才那个人你知道他是谁？他就是印度高僧菩提达摩，精通佛法，学识渊博。"神光听了以后，感到惭愧之极，师父到了跟前，刚才自己太没礼貌了。于是他就赶快追达摩，赔礼道歉。达摩在前边走，神光在后面紧追，一直追到长江岸。达摩急着过江，停立江岸，只见水域茫茫即没有桥，也没有船，连个人影也不见。这怎么过江呢？达摩十分焦虑。谁知“天无绝人之路”。正在这无可奈何之际，达摩突然发现岸边不远的地方坐着一个老太太，身边放了一捆苇草，看样子好象也是在等船过江。达摩暗自盘算：这位若大的年纪，为何孤苦伶仃，无人护送照料？也罢！只好向她老人家求助了。于是他迈步走上前去，恭恭敬敬地向老人施了一礼，说道："老菩萨，我要过江，怎奈无船，请您老人家化棵芦苇给我，以便代步。"
老人抬起头来，仔细地端详达摩。见他两只突鼓的眼睛炯炯有神，满脸络腮胡子，卷曲盘旋，身材魁梧，举止坦然，形象端壮，仪表非凡。老人暗自点头称许，随顺手抽出一根芦苇与达摩。达摩双手接过芦苇，向老人告谢而去，及至江边，他把芦苇放在江面上，只见一朵芦苇花，昂首高扬，五片芦叶，平展伸开，达摩双脚踏于芦苇之上，飘飘然渡过了长江。
神光不顾疲劳，尾追达摩，及到江边，看到达摩一苇渡江，就气急败坏地跑到老人面前不问青红皂白，抱起老人身边一捆芦苇，扑通一听，扔到水中，双脚跳上芦苇捆子，匆忙过江。谁知说也奇怪，这捆芦苇不但不向前行进，反而很快沉入水中。神光见势不妙，急忙涉水而出，险些溺入水中。神光带着浑身泥水，冲向老人，轻听责问："你给他一根芦苇就渡过江，我拿你一捆芦苇为什么还过不去呢？"
老人不慌不忙从容不迫地答道："他是化我的芦苇，助人有份；你是抢我的芦苇，物各有缘，无缘无故，岂能相助？"老人说罢，转瞬间悠然不见，浩瀚的江面上空无一人。 这时神光自知有失，惭叹不已，呼天不灵，呼地不应，悲凄非常，懊悔而归。
达摩过江以后，手持禅仗，信步而行，见山朝拜，遇寺坐禅，北魏孝昌三年（公元527年）到达了嵩山少林寺。达摩看到这里群山环抱， 林茂密，山色秀丽，环境清幽，佛业兴旺，谈吐吻洽。心想，这真是一块难得的佛门净土。于是，他就把少林寺作为他落迹传教的道场。广集僧徒，首传禅宗。自此以后，达摩便成为中国佛教禅宗的初祖，少林寺被称为中国佛教禅宗祖庭。现在少林寺碑廊里还有达摩一苇渡江图像碑。古人有诗赞日：
路行跨水复逢着，独自凄凄暗渡江。
日下可怜双象马，二株嫩桂久昌昌。
