近日，北京大学物理学院量子材料科学中心、北京量子信息科学研究院王楠林教授课题组，与北京大学物理学院凝聚态物理与材料物理研究所刘开辉教授课题组、北京大学物理学院量子材料科学中心王恩哥院士课题组等合作，在二维层状材料的非线性光学性质研究方面取得了重要进展：首次在一类新型范德瓦尔斯层状材料——过渡金属磷硫族化合物MPX₃(M=过渡金属元素，X=S, Se)中发现了巨大的高阶非线性光学响应，并揭示其在非线性光学领域的基础研究及应用方面均具有重要价值。2024年8月2日，相关研究成果以“一种范德瓦尔斯关联绝缘体中的巨大非线性光学混频效应”（Giant nonlinear optical wave mixing in a van der Waals correlated insulator）为题，发表在国际知名学术期刊《科学进展》（Science Advances）。

非线性光学是现代光学研究中的重要方向。非线性光学混频效应，如高次谐波、和频与差频、多波混频效应等，在传统的激光技术、光学传感和探测领域，以及新兴的量子信息技术、微纳光子学等领域，都发挥着举足轻重的作用。目前，非线性光学材料研究的一大热点是范德瓦尔斯层状二维材料。与传统非线性光学三维体材料相比，二维材料易于进行微纳尺度加工、与光电子器件集成，且具有更大的非线性光学系数，因此在集成光子学、量子计算等新兴领域具有重要的应用前景。发现高效的二维非线性光学材料、制备新型非线性光学器件等也成为了非线性光学的研究焦点。

研究团队发现过渡金属磷硫族化合物MPX₃是一类新的具有研究和应用前景的二维非线性光学材料，并展示了其显著的非线性光学效应和高非线性转换效率。MPX₃是一种范德瓦尔斯反铁磁绝缘体，近年来它们的新奇物理特性受到了凝聚态物理领域的广泛关注。该类材料具有电荷、自旋和晶格系统之间的关联及多体效应，特殊的磁、光学性质及可调控性。由于目前已有的二维非线性光学材料大多是较为简单的物理体系，MPX₃材料中的复杂关联物理性质使之区别于已有的二维非线性光学材料，能够为研究非线性光学过程中的光-物质复杂相互作用、非线性效应的多自由度调控提供可能。

尽管近年来关于MPX₃材料的物性已有许多研究，但它的高阶非线性光学性质却并未有人探究。研究团队首次报道了这类材料具有巨大的高阶非线性光学响应。研究团队使用两束近红外飞秒激光照射MnPSe₃、MnPS₃等样品，发现样品产生了一系列从紫外到可见光范围内的、肉眼可见的非线性光学高阶混频信号，包括三次谐波、非简并四波混频和六波混频信号。研究团队进一步测量了MnPSe₃材料的近红外三次谐波的相应三阶非线性光学极化率，发现该数值达到了所有二维材料所报道过的近红外波段三阶非线性极化率的最高值范围。并且，该样品产生的一系列的非线性高阶混频信号都具有很高的光学转化效率，超过了典型的非线性光学材料（如LiNbO₃、GaSe、WS₂）。这些结果都说明了该材料体系的卓越非线性光学性能。研究团队还展示了如何利用这些高效的混频效应构建一种特殊的多色的、多方向性的非线性光学波导，后续可能会启发集成光子学和量子信息处理等领域的应用。

北京大学物理学院量子材料科学中心博士后岳莉（入选中国博士后创新人才支持计划，现为北京量子信息科学研究院助理研究员）和特聘副研究员刘畅为论文共同第一作者。岳莉、董涛副研究员、以及王楠林为论文共同通讯作者。该研究工作得到了国家自然科学基金、国家重点研发计划、中国博士后科学基金等的支持。