По соглашению между Ольгердом и Кейстутом (1345) Явнутий был изгнан из Вильны. Братья заключили договор, по которому все они должны повиноваться Ольгерду как великому князю. Кейстут управлял северо-западной частью княжества и вёл борьбу с Орденом. Действия Ольгерда были сосредоточены в восточном и юго-восточном направлении. При Ольгерде (правил в 1345−1377) княжество фактически стало доминирующей державой в регионе. Он стремился утвердить свое влияние в Новгороде и Пскове. Это ему удалось лишь отчасти (вследствие соперничества Москвы). Смоленский князь находился в прямой зависимости от Ольгерда, несмотря на походы московских князей в 1368 и 1375 годах.

В княжение Симеона Иоанновича отношения Ольгерда и Москвы были мирными. Конфликт начался из-за Твери. В 1368—1372 годах Ольгерд, который был женат на сестре великого князя тверского Михаила, поддержал Тверь в её соперничестве с Москвой. Ольгерд совершил несколько походов в московские владения (1368, 1370 и 1372). В это время на западных рубежах Ольгерд воевал с крестоносцами и потому не мог уделять должного внимания востоку. Крестоносцы виделись Ольгерду более серьёзной угрозой, и он развязал себе руки, неожиданно предложив Дмитрию Донскому «вечный мир».

На юге владения Ольгерда расширились присоединением Брянского, Северского и Черниговского княжеств (около 1360). Особенно позиции государства укрепились после того, как в 1362 году Ольгерд разбил крымских татар в битве при Синих водах и присоединил к своим владениям Подольскую землю. Вслед за тем Ольгерд сместил княжившего в Киеве своего брата князя Феодора, подчиненного Золотой Орде, и отдал Киев своему сыну Владимиру. За обладание Волынью Ольгерд вёл борьбу с Польшей, окончившуюся миром в 1377 году. Уделы Берестейский, Владимирский и Луцкий отошли к Литве, а земли Холмская и Белзская — к Польше. Литовские князья претендовали на объединение под своей властью других восточнославянских княжеств (и в частности, Тверского, Московского, Псковской земли).

Земли княжества при Ольгерде простирались от Балтики до Причерноморских степей, восточная граница проходила примерно по нынешней границе Смоленской и Московской, Орловской и Липецкой, Курской и Воронежской областей. Во время его правления в состав государства входили современная Литва, вся территория современной Белоруссии, Смоленская область, часть Украины. Для всех жителей западной Руси Литва стала естественным центром сопротивления традиционным противникам — Золотой Орде и Тевтонскому Ордену. Кроме того, в Великом княжестве Литовском в середине XIV века численно преобладало православное население.