凸函數：曲線上任意兩點連線上的點對應的函數值不大于該兩點對應的函數值得連線上的值，例如y=x^2；
非凸函數：曲線上任意兩點連線上的點對應的函數值既有大于該兩點對應的函數值得連線上的值的部分也有小于的部分，例如：y=sinx。
機器學習中的凸與非凸：引用來源：【深度學習】凸/非凸區別

凸：沿著梯度下降的方向找到的一定是最優解，大部分傳統機器學習問題是凸的。
非凸：沿著梯度下降方向找到的最優只能保證是局部最優，不能保證是全局最優，深度學習以及小部分傳統機器學習問題是非凸的。
凸集：集合內任意兩點的連線都在集合內。如下圖：
左邊為凸集，集合內任意兩點的連線都仍在集合內，右邊為非凸集，集合內兩點連線會有在集合外的部分。

非凸集：不是凸集的就是非凸集。