Институт создан Постановлением Президиума Академии наук Союза ССР от 09.08.1957 № 607 как Институт неорганической химии Сибирского отделения АН СССР. В 2002 г. Институту присвоено имя академика А.В. Николаева, и Институт переименован в Институт неорганической химии им. А.В. Николаева Сибирского отделения Российской академии наук постановлением Президиума РАН от 26.03.2002 № 86. Постановлением Президиума РАН от 18.12.2007 № 274 Институт переименован в Учреждение Российской академии наук Институт неорганической химии им. А.В. Николаева Сибирского отделения РАН. Постановлением Президиума РАН от 13.12.2011 № 262 тип и наименование Института изменены на Федеральное государственное бюджетное учреждение науки Институт неорганической химии им. А.В. Николаева Сибирского отделения Российской академии наук. В соответствии с Федеральным законом от 27 сентября 2013 г. № 253-ФЗ «О Российской академии наук, реорганизации государственных академий наук и внесении изменений в отдельные законодательные акты Российской Федерации» и распоряжением Правительства Российской Федерации от 30 декабря 2013 г. № 2591-р Институт передан в ведение Федерального агентства научных организаций (ФАНО России). В соответствии с Указом Президента российской Федерации от 15 мая 2018 г. № 215 «О структуре федеральных органов исполнительной власти» и распоряжением Правительства Российской федерации от 27 июня 2018 г. № 1293-р Институт передан в ведение Министерства науки и высшего образования Российской Федерации.

Первым директором Института был назначен доктор химических наук Анатолий Васильевич Николаев (Постановление Президиума АН СССР от 09.08.1957 № 607). 1957-1960 гг. были годами организации и становления Института. Он не имел ни своих помещений, ни полного штата. В основном велась организационная работа: комплектование и подготовка кадров, проектирование строительства, обеспечение будущих производственных помещений оборудованием и т.п. Институт работал на производственных площадях родственных НИИ и предприятий в Москве, Ленинграде, Ярославле. В Новосибирске лаборатории Института размещались в четырех помещениях других учреждений и служб СО АН СССР и на трех предприятиях города. Даже в таких трудных условиях Институт вел научные исследования в соответствии с его задачами и возможностями.

При организации института были привлечены перспективные молодые ученые из разных научных организаций нашей страны: Институт общей и неорганической химии им. Курнакова (Москва); Московский государственный университет им. М.В. Ломоносова; Ленинградский государственный университет им. А.А. Жданова; Московский химико-технологический институт им. Д.И. Менделеева; Ленинградский химико-технологический институт им. Ленсовета; Горьковский государственный университет им. Лобачевского.

В 1962 г. Институт получил собственное здание. К этому времени определились три основных научных направления, в которых шли исследования: 1) структура кристаллов и химическая связь, 2) химия комплексных соединений, 3) химия лантанидов и актинидов.

В 1964 г. список основных научных направлений расширился, их стало пять: 1) синтез веществ, важных для новой техники (электроника, ядерная энергетика и др.); 2) изучение кристаллической структуры и теории химической связи; 3) изучение химии элементов, важных для новой техники; 4) получение веществ в состоянии особой чистоты; 5) разделение трудноразделимых природных композиций элементов (редкоземельные элементы, цветные и благородные металлы и др.).

В 1970 г. Постановлением Президиума АН СССР № 822 научные направления Института были определены следующим образом: 1) экстракционное и ионообменное разделение и очистка неорганических веществ; 2) синтез неорганических веществ, важных для новой техники, и получение их в особочистом состоянии; 3) химия координационных соединений переходных металлов; 4) химия полупроводников; 5) химия редкоземельных элементов и актинидов; 6) изучение структуры кристаллов и химической связи в них; 7) изучение растворов электролитов в экстремальных условиях.  

Директор Института д.х.н., профессор Анатолий Васильевич Николаев был избран в 1958 году членом-корреспондентом АН СССР, а в 1966 году – действительным членом АН СССР. Им были заложены работы по современным физическим методам исследования строения веществ, по проблемам разделения, очистки и аналитического контроля веществ на основе физико-химического анализа, по синтезу новых сложных, практически важных соединений. В должности директора академик А.В. Николаев работал до конца своей жизни.

С 1980 года по 1983 год директором Института являлся д.х.н., профессор Сергей Павлович Губин. По его инициативе стали проводиться широкие и всесторонние исследования кластерных соединений металлов.

С 1983 года по 2005 год институт возглавлял академик Фёдор Андреевич Кузнецов, который не только содействовал подъему на новую ступень развитых направлений, но активно участвовал в становлении работ по электронному материаловедению и химической информатике. С 2005 по 2019 гг. Институтом руководил чл.-к. РАН Федин Владимир Петрович, ведущий специалист в области координационной и супрамолекулярной химии. Им разработаны методы направленного синтеза и диагностики гигантских молекулярных комплексов, содержащих десятки атомов металлов и имеющих наноразмеры; показано, что направленное конструирование высокоупорядоченных супрамолекулярных систем с заданной структурой и свойствами возможно из наноразмерных строительных фрагментов, способных к высокоспецифическому контролируемому межмолекулярному взаимодействию; разработана методология синтеза нанопористых металл-органических, в том числе гомохиральных, координационных полимеров, которые являются новым классом наноматериалов. Несомненной заслугой Федина В.П. является привлечение в Институт молодежи и воспитание высококвалифицированных научных сотрудников. С 13.11.2020 директором Института является д.х.н. Брылев Константин Александрович.

В настоящий момент ИНХ СО РАН сложился как многопрофильный институт, активно участвующий в решении проблем современной неорганической химии.