Родился Александр Филиппович Васильев 11 сентября 1902 г. в с. Старое Ряхино Крестецкого уезда Новгородской губернии в семье крестьянина. Русский.
В 1912 г. окончил сельскую школу, в 1917 г. — начальное училище.
В РККА: с 1 июня 1920 г. В годы Гражданской войны — красноармеец Новгородского губвоенкомата, отряда особого назначения при командующем Южного фронта, Харьковской бригады Сводной дивизии Южного фронта, караульной роты Крестецкого уездного военкомата. Участвовал в боях на Южном фронте против войск генерала Врангеля, отрядов Махно.
В августе 1922 г. направлен на учебу в 1-ю Ленинградскую артиллерийскую школу имени Красного Октября. После ее окончания в сентябре 1926 г. — командир взвода, с октября 1928 г. — командир взвода учебной батареи конно-артиллерийского дивизиона 7-й кавалерийской дивизии, с октября 1929 г. — адъютант 7-го отдельного конно-артиллерийского дивизиона, с декабря 1931 г. — помощник командира учебного дивизиона 11-го корпусного артиллерийского полка Белорусского ВО. С мая 1932 г. в распоряжении Главного управления РККА, с марта 1933 г. — помощник начальника 1-го сектора 6-го отдела штаба Белорусского ВО.
С мая 1934 г. — слушатель специального факультета Военной академии имени М. В. Фрунзе. Во время учебы обнаружил лингвистические способности к изучению иностранных языков. Помимо военного страноведения и специальных дисциплин изучил немецкий и английский языки. Свободно владел украинским, белорусским и польским языками.
По окончании академии приказом от 25 сентября 1937 г. назначен в распоряжение Разведывательного управления РККА. В военной разведке занимал должности: начальник отделения 3-го отдела (военной техники) Разведупра РККА (сентябрь — декабрь 1937 г.); начальник 10-го отдела (спецтехнический) Разведупра РККА (декабрь 1937 — май 1939 г.); и. о. помощника начальника Разведупра РККА (февраль — май 1939 г.); начальник 4-го отдела (паспортный) 5-го Управления РККА (май — июль 1939 г.); заместитель начальника 5-го Управления РККА (май 1939 — август 1940 г.); в распоряжении Разведупра Генштаба РККА (август 1940 — июнь 1941 г.) выполнял специальные задания; начальник Разведотдела — заместитель начальника штаба Одесского ВО (июнь — июль 1941 г.); начальник Разведотдела — заместитель начальника штаба Южного фронта (июль 1941 — февраль 1942 г.); начальник Разведотдела — заместитель начальника штаба Южного фронта (март — апрель 1942 г.).