内嵌物理知识神经网络(PINN)方法是一种利用深度学习求解偏微分方程的新方法。L2内嵌物理知识损失是训练物理信息神经网络的通用损失函数。在本工作中,我们研究了损失函数与数值解的精度关系,反思了L2损失函数设计的合理性。特别地,我们利用偏微分方程理论中的“稳定性”的概念,研究当损失接近零时数值解的渐近行为。利用这一概念,我们研究了最优控制中一类重要的高维非线性偏微分方程——哈密顿-雅可比-贝尔曼(HJB)方程,并证明了对于一般的Lp损失函数,只有当p足够大时,PINN给出的HJB方程的近似解的精度才是有理论保证的。因此,常用的L2损失函数不适合运用于这类方程,而L-inf损失是一个更好的选择。基于这一理论观察,我们设计了一种新的PINN训练算法,以最小化HJB方程诱导的L-inf内嵌物理知识损失,这一算法与深度学习中熟知的对抗训练算法类似。我们通过大量实验验证了该算法的有效性。