准备伐齐的筹备过程中，武帝多次派亲信前往安州向于翼问策，经数年准备，北周大举伐北齐，于翼率兵两万从南阳、叶县直趋襄城，配合武帝在洛阳的主战场。其军纪严明，所到之处秋毫无犯，沿途百姓欣悦相迎，归顺者络绎不绝，出师不久即攻占北齐城镇19座，后因武帝病重，周师撤退。
    于翼转任陕熊等七州十六防诸军事、宜阳总管，北周再伐北齐，于翼率军直插九曲城，攻拔造涧等城，直逼洛阳。次年，北齐守将降周，河南九州俱平，于翼随即为洛怀等九州诸军事、河阳总管，不久，转豫州总管。武帝下令，河阳、襄州、安州、荆州四州总管所辖文武官员，任凭于翼选用，数量不限，仪同以下官员的任免，于翼可先斩后奏。他在任期间，敌方闻风丧胆，不敢来犯。
    翼为大司徒，他曾受命为钦差，巡视北方长城防务，于翼经实地考察，提出不少改革措施，“咸得其要害”。随后，他被任命为幽定七州六镇诸军事、幽州总管，他一面加强军事防务，一面安抚百姓恢复生产，使突厥不敢入侵。
    隋文帝开皇之初，于翼官拜太尉，史赞他“性恭俭，与世无争，常以满盈自戒，故能以功名终”。