end-to-end learning

因為2020遊戲式機器學習入門的課程的關係，有比較多po文是關於這個議題的．

好幾次，做多媒體研究的老骨頭會聚在一起感嘆，以前要了解很多物理特性，思考如何擷取特徵，再用特徵來判別，現在神經網路end-to-end learning一下子就做掉了。

以人臉辨識，很早以前要靠膚色找到可能有臉孔的位置，然後再去找五官，然後才判斷，現在直接把影像丟進去就可以了。語音辨識也類似。

時代在變，老骨頭談論這件事頗有大江東去的感覺，但是又覺得往往教出來的學生就只會在神經網路的結構組成上動手腳，言下之意頗不以為然，但是偏偏「有時」卻又做得不錯，最後也妥協了，一起下海了。

也因此，我的學生也常常希望end-to-end就可以把問題給解決了，但是往往事與願違，不管換了多少模型，改了多少參數，沒辦法就沒辦法。我時常會勸他們，與其要end-to-end就解決問題，不如把問題切開，要不用老方法，要不還是可以用神經網路，我也沒說傳統方法裡不可以混用神經網路啊！！！

不過總是要不甘願地試了很久很久（真的是很久，每次一換參數就一個星期過去）到實在沒辦法了才願意改。

以前我會強迫學生照我的意思，現在的我不這麼幹了，反正要做多久是學生自己的事，我做了我該做的就好，反正我也不急著要幹嘛！

其實，這個有幾個層面。

1. 這個問題的複雜度或是類型不是end-to-end可以做到的。
2. 我們對神經網路知道的還太少。
3. 對於問題的loss函數與輸出整合正規劃還不夠清楚。
4. 訓練集與標記不夠好

當然還有5,6,7,8,.......

寫到這裡，想到以前投論文時的事。以前用神經網路，審稿者最喜歡問的問題之一就是，你這個神經網路跟問題的物理意義如何對應？要是答不出來或是回答不夠滿意就直接reject。現在的情況我是不太了解，講太多這些不知道會怎麼下場？我現在比較乖，就看人家怎麼寫就好，不要廢話太多。

我記得我的老友說，幾十年前用神經網路來做控制問題是常讓人瞧不起的，不知道現在用傳統方法做控制會不會讓人瞧不起呢？