Родился 2 февраля 1935 года в Москве. Русский.
В 1958 году окончил Московский государственный университет (МГУ).
В 1958-1961 годах - аспирант МГУ.
С 1958 года работал в Институте атомной энергии (ИАЭ) им. Курчатова. С 1961 года - младший научный сотрудник, с
1962 года - руководитель лаборатории, заведующий отделом, с 1971 года - заместитель директора по научной работе, директор филиала ИАЭ.
В 1988 году становится директором ИАЭ.
Институт занимался преимущественно секретными разработками в области атомной энергии, поэтому Велихов довольно часто общался с Юрием Андроповым, курировавшим эти вопросы, и пользовался его расположением.
В 1983 году Андропов поручил ему и Аркадию Вольскому разработать план возвращения из ссылки академика Андрея Сахарова, но предложенный ими вариант принят не был.
С 1968 года Велихов - профессор МГУ.
С 1971 года - заведующий кафедрой ядерной физики МГУ. Доктор физико-математических наук, специализировался по вопросам физики плазмы, магнитной гидродинамики, управляемого термоядерного синтеза.
С 1968 года - член-корреспондент, с 1974 года - академик АН СССР, в 1977 году возглавил физико-математическое отделение АН СССР, с 1978 года - вице-президент, с 1985 года - академик-секретарь АН СССР.
В 1975 году - руководитель советской термоядерной программы.
В 1977 году - председатель совета молодых ученых и специалистов ЦК ВЛКСМ.
В 1980 году - председатель программного комитета "Физика, химия и механика поверхности" при Президиуме АН СССР.
В 1983 - 1988 гг. Велихов возглавлял Комитет советских ученых в защиту мира, против ядерной войны.
В 1970-1978 годах был членом ЦК ВЛКСМ. В КПСС вступил в 1971 году, когда встал вопрос о его избрании в АН (оставался членом партии до ее ликвидации).
В 1986-1989 годах был кандидатом в члены ЦК КПСС, в 1989-1990 годах - член ЦК КПСС.
В 1980-1985 годах - депутат Верховного Совета (ВС) РСФСР, в 1984-1989 годах - депутат ВС СССР.
С 1984 года - председатель Комиссии по энергетике Совета Национальностей Верховного Совета СССР.
Личный друг Михаила Горбачева.
В апреле 1985 года участвовал в совещании ЦК КПСС по проблемам ускорения научно-технического прогресса, был одним из главных консультантов Горбачева по вопросам "ускорения" (однако его имя никогда не связывалось в общественном мнении с крахом этой концепции).
В 1986 году, после Чернобыльской аварии, Велихов выезжал на место катастрофы для осуществления контроля за работой по ликвидации ее последствий.
В 1989 году был избран народным депутатом СССР от КПСС и стал членом ВС.
До марта 1991 года был председателем подкомитета по делам вооруженных сил Комитета ВС по вопросам обороны и государственной безопасности. На I и II Съездах народных депутатов СССР был одним из наиболее часто выступавших депутатов.
Большинство его выступлений носило компромиссный характер. Входил в научно-промышленную и академическую депутатские группы. По результатам голосований может быть отнесен к активным сторонникам политики Горбачева.
В марте 1990 года, после избрания Горбачева Президентом СССР, кандидатура Велихова была предложена Аркадием Мурашевым на пост Председателя ВС СССР, но при голосовании ему удалось набрать лишь 60 голосов (Анатолий Лукьянов набрал 1824 голоса).
С сентября по декабрь 1991 года - член Политического консультативного совета при Президенте СССР.
В 1991 г. возглавлял внешнеэкономический комитет Научно-промышленного союза СССР.
При поддержке Велихова в СССР была развернута коммерческая деятельность по ввозу компьютеров.
Учитывая существовавший тогда сравнительно низкий обменный курс доллара к рублю, этот вид деятельности приносил сверхприбыли. Поддерживаемые Велиховым структуры почти полгода оставались монополистами в этой области, причем часть полученных средств была использована на переоснащение Института им.Курчатова.
Велихов участвовал в создании советско-американской компьютерной школы в г.Переславле-Залесском.
Был председателем попечительского совета советско-американского центра "Дети - творцы XXI века".
Около года был одним из руководителей экологической организации "Зеленый мир", хотя особой активности на этом посту не проявил. Одновременно, в 1988-1989 годах, Велихов первым возглавил Ядерное общество. В настоящее время является его почетным президентом. Был научным руководителем Института проблем безопасности развития атомной энергетики АН.
C января 1992 года - вице-президент Российского союза промышленников и предпринимателей, возглавляемого Аркадием Вольским.
В мае 1992 года вошел в созданный Вольским Союз "Обновление".
В феврале 1992 года президент России Ельцин подписал указ о создании на базе Института атомной энергии Российского научного центра "Курчатовский институт", который тем самым был выведен из-под контроля Министерства атомной энергетики и промышленности. Велихов сохранил пост его директора.
В 1992 г. академик Велихов стал президентом компании "Росшельф", получившей ключевую роль в разработке Штокмановского газоконденсатного месторождения в Баренцевом море. Обосновывая преимущества своего проекта перед проектами, предлагавшимися западными компаниями, представители "Росшельфа" утверждали, что мобилизуют предприятия военно-промышленного комплекса выполнять заказы на строительство промысловых сооружений и обеспечат таким образом 250 тысяч рабочих мест.
25 июля 1996 года Указом Президента РФ назначен членом Совета обороны РФ.
С сентября 1999 года - член Научного совета при Совете безопасности РФ.
В сентябре 1999 г. был выдвинут блоком "Отечество - Вся Россия" кандидатом в депутаты Государственной Думы третьего созыва по Тушинскому одномандатному избирательному округу №200 (Москва). На выборах 7 декабря занял второе место (22,62%), проиграв Александру Шохину (28,81%).
В ноябре 2002 г. председатель правительства Михаил Касьянов подписал распоряжение об очередном назначении Велихова президентом "Курчатовского института" сроком на пять лет.
В феврале 2004 года включен в состав российско-японского "совета мудрецов", созданного в целях содействия всестороннему развитию отношений между Россией и Японией в различных областях на основе углубления диалога между видными представителями общественных и деловых кругов двух стран.
В сентябре 2005 года утвержден президентом РФ членом Общественной палаты РФ.
На первом заседании Общественной палаты 22 января 2006 года избран её секретарем.
Доктор физико-математических наук, профессор, академик Российской Академии наук. Действительный член (академик) Российской академии образования и культуры. Действительный член (академик) Российской академии естественных наук (секция физики).
Герой Социалистического труда (1985). Награжден тремя орденами Ленина, орденом Трудового Красного Знамени, медалью им.Фарадея. В феврале 2005 г. награжден орденом "За заслуги перед Отечеством" II степени.
Лауреат Ленинской и Государственной премий. Присуждены премии им. М.Д.Миллионщикова и им. А.П.Карпинского. Лауреат Международной премии "Выборы для будущего" (присуждается американской общественной организацией "Фонд Уиндстар"). Один из авторов монографии "Космическое оружие: дилемма безопасности".
Велихов, будучи известным лидером международного экологического движения, изо всех сил добивался законодательного разрешения ввозить в Россию отработанное ядерное топливо (ОЯТ). У США есть построенные в Южной Корее и на Тайване АЭС. По международным нормам, США обязаны забирать обратно отработавшее ядерное топливо с этих электростанций. Академик Велихов заверяет, что захоронение ОЯТ с американских АЭС Южной Кореи и Тайваня в карстовых пустотах Красноярска-26 - дело абсолютно безопасное. Другой компетентный академик Алексей Яблоков располагает данными, что под Красноярском-26 уже загрязнены грунтовые воды и образовалась радиоактивная "линза", которая двигается к Енисею и может достигнуть его через 7-8 лет.
Атеист. При этом считает, что "каждый имеет право на иллюзии или утешение". (Власть, 28 апреля 2003 )
Увлекается горными лыжами, серфингом.
Женат, имеет троих детей.