La influencia del cercano continente asiático en la provincia de Yamaguchi se puso de manifiesto ya en los siglos II y III a.C. con la introducción de las técnicas de cultivo del arroz. Entre los siglos IV y V d.C., el clan Yamato unificó Japón bajo un gobierno nacional y el territorio de lo que ahora es Yamaguchi estaba dividido en siete distritos, que en el siglo VII pasaron a ser dos provincias: Suo y Nagato.

Desde el período Heian hasta el período Kamakura (794-1333), las dos provincias de Suo y Nagato estuvieron bajo el dominio de dos poderosos clanes de samuráis, Ouchi y Koto respectivamente. Durante el período Muromachi (1338-1573), Hiroyo Ouchi, vigésimo cuarto gobernante del clan Ouchi, conquistó la provincia de Nagato, erigió la ciudad de Yamaguchi a imagen y semejanza de Kyoto, abrió el camino al comercio exterior con Corea y con la dinastía Ming de China e impulsó la introducción de la cultura continental. Yamaguchi pasó así a ser conocida como la "Kyoto del Oeste" y la cultura Ouchi experimentó su época de mayor esplendor.

En tiempos de su trigésimo primer gobernante, el clan Ouchi fue derrotado por un vasallo llamado Harukata Sue y la cultura Ouchi entró en declive. A su vez, el nuevo clan Sue fue derrocado por Motonari Mori, que se hizo así con el control de la región de Chugoku.

Más tarde, en el año 1600, el clan Mori fue vencido por Ieyasu Tokugawa en la batalla de Sekigahara y se vio forzado a entregar sus tierras, a excepción de lo que constituye hoy la prefectura de Yamaguchi. Terumoto Mori construyó su castillo en la ciudad de Hagi y revitalizó la economia de la región mediante campañas como la de "Los tres blancos", con la que se fomento la producción local de sal, arroz y papel. A finales del perído Edo y gracias a destacados intelectuales como Shoin Yoshida y Shinsaku Takasugi, la región, entonces conocida con el nombre de Choshu, jugó un importantísimo papel en la Restauración Meiji y la constitución del Japón moderno.

Con el declive del gobierno Edo y la instauración en 1868 del gobierno Meiji, se produjo una reesctructuración territorial que dio lugar, en el año 1871, al establecimiento formal de la actual prefectura de Yamaguchi. El nuevo gobierno llevó a cabo políticas de renovación entre las que se incluye la modernización de la industria. Aunque por aquel entonces Yamaguchi era principalmente una provincia agrícola, la instalación de fábricas textiles y de cemento por toda la prefectura supuso la gestación de la industria moderna. La abundancia de recursos minerales y de zonas portuarias propició, durante el período Taisho, el florecimiento de industrias navieras, químicas, metalúrigcas y de maquinaria en la costa del Mar Interior de Seto. El crecimiento económico continuó durante la era Showa, y después de la segunda guerra mundial se construyó un gran complejo petroquímico, con lo que Yamaguchi se convirtió en una de las provincias más industrializadas del país.