欢迎访问视觉与智能学习实验室网站!

通知公告

祝贺:实验室团队博士生窦曙光一篇论文”EA-HAS-Bench: Energy-aware Hyperparameter and Architecture Search Benchmark”被ICLR 2023录用为Spotlight

作者: 时间:2023-02-03 点击数:

    祝贺实验室团队博士生窦曙光一篇论文” EA-HAS-Bench: Energy-aware Hyperparameter and Architecture Search Benchmark ICLR 2023录用为Spotlight。由于训练数据和模型规模的增长,深度学习模型的训练能耗以惊人的速度增加,对碳中和造成了负面影响。对于自动机器学习(AutoML)算法来说,能耗问题尤其紧迫,因为它通常需要不断训练大量计算密集的深层模型,以搜索最佳配置。本文是开发能量感知(Energy-AawareNAS方法的最重要步骤之一,通过提供一个基准来使EA-NAS研究更具可复制性和可访问性。具体而言,我们提出了第一个大规模能量感知基准,允许研究AutoML方法以在能耗和搜索能耗之间取得更好的平衡,命名为EA-HAS-BenchEA-HAS-Bench提供了大规模的架构/超参数联合搜索空间,覆盖了与能耗有关的多样化配置。此外,我们提出了一种专门针对大联合搜索空间的新型代理模型,该模型提出了基于Bézier曲线的模型,可以预测具有无限形状和长度的学习曲线。

现有大多数传统基准,例如NAS-Bench-101,并不直接提供训练能量成本,而是使用模型训练时间作为训练资源预算,但我们的实验证明,这是能量成本的不准确估计。HW-NAS-bench提供了不同模型架构的推理延迟和推理能量消耗,但也不提供搜索能量成本。

版权所有:同济大学 视觉与智能学习实验室

地址:上海市嘉定区曹安公路4800号同济大学嘉定校区智信馆4楼
Email:zhaocairong@tongji.edu.cn