A Led Zeppelin története a The Yardbirdsszel kezdődött.^[12] Jimmy Page 1966-ban basszusgitárosként csatlakozott a zenekarhoz arra az időre, míg Chris Dreja ritmusgitáros megtanulta használni a hangszert (az előző basszusgitáros, Paul Samwell-Smith nem sokkal korábban vált ki). Page ezután Jeff Beck mellett a zenekar második szólógitárosa lett.

Beck 1966 októberében kivált a zenekarból; a Yardbirds belefáradt a folyamatos turnézásba és lemezfelvételekbe, egyre közelebb került a feloszláshoz. Page egy supergroup alapítását tervezte Beckkel és a The Who „ritmusszekciójával” – Keith Moon dobossal és John Entwistle basszusgitárossal. Énekesnek Donovant, Steve Winwoodot vagy Steve Marriottot akarták szerződtetni.^[13] A zenekar sohasem alakult meg, de 1966-ban Page, Beck és Moon felvette a Beck's Bolero című dalt, ami Beck 1968-as Truth című albumán jelent meg. A felvételen részt vett John Paul Jones basszusgitáros is, aki felajánlotta, hogy a jövőben szívesen dolgozna Page-dzsel.^[14]

A Yardbirds 1968 júliusában adta utolsó koncertjét. Ezután Keith Relf és Jim McCarty kivált és megalapította a Renaissance nevű zenekart, mely a klasszikus zene, a rock és a folk elemeit ötvözte. Ennek ellenére még volt néhány előre lekötött fellépésük Skandináviában, ezért McCarty és Relf megengedte Page-nek és Drejának, hogy Yardbirds néven teljesítsék kötelezettségeiket. Page és Dreja ezután új tagokat keresett. Az énekesi posztra Page először Terry Reidet hívta meg, aki elutasította a felkérést, és maga helyett egy Robert Plant nevű West Bromwich-i énekest ajánlott.^[15] Plant végül elfogadta Page ajánlatát, dobosnak pedig a redditchi John Bonhamet ajánlotta, akivel a Band of Joy nevű zenekarban játszott együtt.^[16] Amikor Dreja kiszállt, hogy fényképész lehessen – ő készítette azt a képet, ami a Led Zeppelin első albumának hátoldalán szerepelt – , Jones jelentkezett Page-nél. Page-nek jó emlékei voltak a Jonesszal való közös munkáról, így azonnal bevette a zenekarba. Az első dal, amit együtt játszottak, a Train Kept a Rollin' volt.

Első közös lemezfelvételükre P. J. Proby Three Week Hero című albumának utolsó felvételi napján került sor. Proby így emlékezett: „Az utolsó napon még maradt egy kis stúdióidő, így megkértem őket, hogy játsszanak, a szöveget pedig ott helyben találtam ki. Akkor még nem voltak Led Zeppelin, csak a New Yardbirds, akik az én lemezemen játszottak.”^[17]

A zenekar The New Yardbirds néven teljesítette a skandináv turnét, bár a koncerteken résztvevő rajongók szerint az ott fellépő együttest egyszerűen csak Yardbirdsnek hívták; svéd újságok hirdetéseiben is így szerepel a nevük, és ismert egy autogramokkal ellátott fénykép is, melyen szintén hiányzik a New szó a Yardbirds elől. A névválasztásról szóló egyik történet mára már legendává vált: Keith Moon és John Entwistle azt mondta, hogy egy supergroup, amiben Page és Beck társai lennének, úgy zuhanna le, mint egy ólom (lead) zeppelin. Az ólom zeppelin kifejezés John Entwistle-től ered, aki a rossz koncerteket hívta így.^[18] Az együttes felvette a nevet, de Peter Grant menedzser javaslatára az a-t kihagyták belőle, hogy „az ostoba amerikaiak”^[14] ne keverjék össze a 'vezető' jelentésű lead szóval.^[19] Jimmy Page nyilatkozata: „Amikor nevet kerestünk, hirtelen eszembe jutott az a név, amit Keith Moon ajánlott. Gondoltunk arra is, hogy Mad Dogs legyen a nevünk. Nekem legjobban a Led Zeppelin tetszett - bár lehet hogy rossz vicc egy ólom léggömb. Ez valójában egy variációja az Iron Butterfly-nak, amely szintén a könnyedség és a súlyosság kettőssége.”

1968 novemberében Grant 200 000 dolláros előleget szerzett az Atlantic Recordstól, ami abban az időben példátlan volt egy kezdő zenekar számára.^[17] Az Atlantic leginkább blues-, jazz- és soulénekeseiről volt ismert, de az 1960-as évek vége felé egyre nagyobb érdeklődést mutatott a progresszív brit zenekarok iránt. A Led Zeppelint – Dusty Springfield javaslatára – anélkül szerződtették le, hogy akár egyetlen dalukat is hallották volna.^[20] Az együttes ezen a néven 1968. október 15-én adta első koncertjét a Surrey-i Egyetemen, Guilfordban, a Marquee-klubban. December 26-án már az USA-beli Denverben léptek fel, majd Los Angelesben és San Franciscóban adtak koncerteket.^[21]