Кохтла-Ярве получил статус города немногим более полувека назад. Однако поселения на его территории существовали давно. Так, к 1241 году относится первое упоминание в Датской поземельной книге о деревне Ярве (там она именуется Jeruius). Нынешняя часть города Кукрузе впервые упоминается тоже в 1241 году (Kukarus), а Сомпа — в 1420 году (Soenpe).

Вероятно, на месте нынешнего Кохтла-Ярве так и не возникло бы города, если бы не горючий сланец, залежи которого в здешних краях довольно значительны. Образно говоря, горючий сланец — это «твердая нефть». О том, что этот камень может гореть, местные жители знали давно. Существуют легенды, рассказывающие о том, каким образом это было замечено. Согласно одной из них, когда-то в давние времена пастухи, разжигая костры, имели обыкновение выкладывать вокруг них кольцо из камней. Обычно для этого использовали известняк, но как-то раз воспользовались желтовато-коричневыми камнями, которых оказалось немало в том месте. Пастухам трудно было поверить своим глазам, когда они увидели, как жарко эти камни пылают вместе с дровами. По другой легенде некий крестьянин построил себе баню из сланца. Стоило растопить ее, как загорелись стены — к величайшему изумлению крестьянина и всех соседей.

Однако долгое время сланец оставался в глазах местного населения всего лишь странным курьезом, не имевшим практического значения. Использовать его в качестве топлива не было необходимости, ведь вокруг хватало лесов. К тому же горящий сланец выделяет слишком много копоти.

Всерьез сланцем заинтересовались во втором десятилетии двадцатого века. Известно, что в 1916 году партия эстонского сланца была отправлена в Петроград для того, чтобы изучить его свойства. Исследования показали, что сланец является ценным полезным ископаемым, которое может использоваться как в качестве топлива, так и в качестве сырья для химической промышленности.

В 1919 году в Эстонской республике было создано объединение «Государственная сланцевая промышленность». Сланец добывали как под землей, в шахтах, так и открытым способом, то есть на сланцевых разрезах. Рядом с шахтами и разрезами росли поселки. В 1924 году неподалеку от железнодорожной станции Кохтла был построен завод по производству сланцевого масла. Рядом с ним начал расти рабочий поселок, названный Кохтла-Ярве. В середине 30-х годов он включал несколько рабочих кварталов — Кява, Вахекюла, Паванду.

В годы Второй мировой войны значение эстонского сланцевого бассейна выросло: Германия рассматривала его как свой второй по важности[источник не указан 515 дней] после румынских нефтяных разработок источник получения горючего. Впрочем, начать полномасштабную эксплуатацию месторождения немцы не успели.

После войны сланец во все возрастающих количествах потребовался для северо-западной части Советского Союза. Главный поселок сланцевого бассейна получил статус города. 15 июня 1946 года жители Кохтла-Ярве стали горожанами.

С этого момента в течение почти двадцати лет шел процесс административного объединения окрестных населенных пунктов в рамках Кохтла-Ярве. В 1949 году в состав Кохтла-Ярве были включены поселки Кохтла и Кукрузе. В 1960 году в него вошли города Йыхви и Ахтме, а также поселок Сомпа. В 1964 году в подчинение Кохтла-Ярве перешли город Кивиыли, поселки Ору, Пюсси и Вийвиконна. Таким образом, Кохтла-Ярве сильно разросся, превратившись при этом в город с уникальной планировкой, поскольку его части оставались сильно разбросанными «островами», лежащими среди лесов, сельскохозяйственных угодий и сланцевых разработок.

В 1991 году количество частей Кохтла-Ярве уменьшилось, из его состава вышли Йыхви, Кивиыли и Пюсси, став самостоятельными городами. В настоящее время Кохтла-Ярве состоит из шести частей: Ярвеская часть, Сомпа, Кукрузе, Ахтме, Ору и Вийвиконна (в последнюю часть административно входит и поселок Сиргала). Планировка города остается очень своеобразной. Число жителей его немногим менее 50 тысяч, однако два человека, находящиеся один в Сиргала, а другой в Ярвской части — то есть оба на территории Кохтла-Ярве, — могут быть разделены расстоянием, превышающим 30 километров. Такое же расстояние разделяет людей, находящихся на противоположных окраинах Лондона или Парижа.

В 90-е годы объемы добычи и переработки сланца уменьшились, однако перспективы для дальнейшего существования сланцевой промышленности сохраняются, особенно если удастся модернизировать ее до уровня самых современных технологий. Кроме того, накопленные за десятилетия производственная культура и навыки, промышленный интеллектуальный потенциал жителей Кохтла-Ярве дают широкие возможности для развития в городе иных, не связанных со сланцем предприятий.