في السابع من ذي الحجة الحرام عام 114 هجري كان اهل بيته يحفونه به وكان السم الذي دس اليه من خلال سرج امتطاه قد انتشر في جسده فالتفت الى نجله ووصيه الإمام الصادق عليه السلام وقال:  سمعت علي بن الحسين ناداني من وراء الجدران يا محمد تعال عجل, وقال: يا بني هذه الليلة التي وعدتها وقد كان ضوءه قريبا قال: اريقوه اريقوه فظن بعضهم انه يقول من الخمس فقال يا بني ارقه فارقناه فاذا فيه فارة.

واوصى ابنه الامام جعفر بن محمد بان يكفنه في ثلاثة اثواب احدها رداء له جدة كان يصلي فيه يوم الجمعة, وثوب اخر وقميص, واوصى ان يشق له القبر شقا واضاف فان قيل لكم ان رسول الله لحد له فقد صدقوا. واوصى ان يرفع أربع اصابع وان يرش بالماء وان يوقف من امواله قدرا لكي تندبه النوادب بمني عشر سنين ايام المني.

ولما توفي ضجت المدينة المنورة. ويروى عن الامام الصادق عليه السلام: ان رجلا كان على بعد اميال من المدينة فرأى في منامه فقيل له: انطلق فصل علي ابي جعفر، فان الملائكة تغسله فجاء الرجل فوجد ابا جعفر قد توفي. وووري الجسد الطاهر لذلك البحر الزاخر بالعلم الالهي في ثرى البقيع الى جوار قبر الإمام الحسن وقبر الامام السجاد عليهما السلام, صلوات الله وسلامه عليه. فسلام عليه يوم ولد ويوم استشهد مسموما ويوم يبعث حيا.