Он известен как изобретатель лампы с термокатодом — первой электронной лампы, названной кенотроном или диодом, в 1904 году. Он также предложил мнемоническое правило правой руки, используемое в математике и электронике. 

Такого рода изобретения, содержащие вакуумные лампы, рассматривались на заре электроники. Тем не менее, диоды Флеминга использовались в радиоприёмниках и радарах в течение многих лет, и только через 50 с лишним лет они были заменены твердотельными приборами.

Совместно с другими учёными применил своё изобретение в первом электронном усилителе, а сама лампа названа триодом. Триод имел очень важное значение в деле создания дальней телефонной и радиосвязи, радаров и первых электронных цифровых вычислительных машин (уже существовавшие механические и электро-механические вычислители использовали другие технологии). Флеминг внёс также вклад в области фотометрии, электроники, беспроводной связи (радио), и электрических измерений. Он получил титул сэра в 1929 году. Умер в своем доме в Сидмуте в 1945 году. Его вклад в развитие электронных коммуникаций и радары имел жизненно важное значение для победы во Второй мировой войне. Флеминг был удостоен Медали почета IRE в 1933 году за «заметную роль, которую он сыграл в деле внедрения физических и инженерных принципов в радиотехнике».

Он был старшим из семи сыновей священника-конгрегационалиста Джеймса Флеминга (умер в 1879 году) и его жены Мари Энн, и крещён 11 февраля 1850 года. Он был набожным христианином, и однажды проповедовал в храме Святого Мартина в Лондоне на тему доказательства воскресения. В 1932 году вместе с Дугласом Дьюаром и Бернаром Аквортом он помогал в организации Движения Эволюционного Протеста. Не имея детей, он завещал большую часть своей недвижимости христианским благотворительным организациям, особенно тем, которые помогали бедным. Он был хорошим фотографом, писал акварели, принимал участие в восхождениях в Альпах.