手机浏览器扫描二维码访问
第606章 用故事解释softmax函数的溢出问题（第1页）
用故事解释softmax函数的溢出问题
故事背景：龙族宴会上的金碗
在一座神秘的龙族王国，龙族每年都会举行一次盛大的宴会，宴会上有一个传统：每条龙要把自己的财富（金币数量）放进一个金碗，然后让智慧长老计算每条龙的“财富占比”，来决定谁是这一年的财富之王。
宴会当天，四条龙分别报出了自己的金币数量：
?
火龙：100万金币
?
冰龙：200万金币
?
雷龙：300万金币
?
风龙：10亿金币
智慧长老准备使用一个古老的计算方法——softmax规则，将这些财富转换成概率来比较。但他很快发现了一个严重的问题：
金碗炸了！
为什么？因为按照softmax的计算方法，他需要计算每个金币数量的指数值：
但这些数值实在是太大了，远远超出了王国的计算能力，直接导致金碗崩溃（计算溢出）。
智慧长老陷入了困境，他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧：
“我们不直接放金币，我们可以先让大家的金币数减去最大的金币数！”
于是，他重新计算：
?
火龙的金币数变为
100万
-
10亿
=
-9.99亿
?
冰龙的金币数变为
200万
-
10亿
=
-9.98亿
?
雷龙的金币数变为
300万
开局校花太太向我道歉，东京末日 夺我灵根骂我狠？先天绝情圣体已成！ 我一身神功全靠努力，给我变身！ 夫人算卦缺灵力，亲口冷面侯爷加气运 女将带球跑后，死对头一夜哭白头 万星吞天诀 玉孤 神谕之十二生肖 叶尘：重生在赘婿逆袭之路 黑芒科技之途 混沌疯魔 鬼怪奇谭：兵王与小仙女 徒儿快下山，你师姐等不及了 重生后被亿万富豪逼婚，渣男傻眼 黄帝内经百姓版 尸之仙 迷雾中的真相：侦探手记 兵王在地府的甜蜜生活 我是赵梦凡 穿越兽世，日日扶腰求放过
我家娘子乖巧，一掌呼飞全城老少
战火纷飞的西域，封小侯爷浑身血污从前线下来，伤痕累累。眉目娇软的小姑娘默默不说话，只是看着浑身是伤的少年啪嗒啪嗒掉眼泪，俊美张扬，惊才绝艳的少年哭笑不得，粗粝的指腹给她抹泪，宝贝儿，别哭，小爷没事儿！小姑娘点点头，然后委屈的擦着泪，趁封小侯爷休憩的时候排兵布阵，一举拿下了西域。国子监人骚嘴贱封小侯爷×身份神秘软...
火影：万物皆可复制
出身番茄孤儿院的角木，被泥头车送到忍界。有一个沉稳可靠，有时喜欢搞些小操作的老爸。有一个温柔体贴有主见，偶尔会小腹黑的老妈。有一个活泼调皮，崇拜哥哥的弟弟。虽然还有房贷要还，但仍是个幸福美满，温暖的家。只是，弟弟的名字叫海野伊鲁卡。自己的名字，是海野角木。从未来的九尾之乱中拯救自己的家人，便是海野角木踏足忍界要...
琴帝
九叠琴音震寰宇，谁敢闻言不识君？七色魔法代等级，雄雄揭大幕。琴之帝王，给这片大陆带来翻天覆地的改革。伴随着旷古绝今的赤子琴心的出现，一代琴魔法师，在碧空海之中悄然诞生。这将是一个单纯的少年，逐渐成为琴中帝王的故事，开创音乐魔法的先河，颠覆以往的设定，赤橙黄绿青蓝紫，彩虹等级将成为所有武技和魔法衡量的标准。原本仅仅是...
姐姐非要换亲？我嫁首长她悔哭了
绝美战地女军医禁欲军官八零先婚后爱双洁沈稚欢惨死在除夕夜，家中遇险，偏心的父母护着姐姐，毫不犹豫把她推了出去！再一睁眼，她重回19岁那年，姐姐非要换亲妈！谢澜深受了重伤活不长，让妹妹守寡，我替她去顾家，我愿意当后妈！沈稚欢反手拿起棍棒，当场暴打全家！想换亲？先断亲！拿钱！签！临死前家人丑恶的嘴脸还...
娱乐春秋
架空异界，武道百家。现代人告诉他们，除了修行，还有很多方法可以得到你想要的东西。要做江湖上人人追捧的少侠？嗯，这个简单，只是要看你的诚意比如让你师妹来...
抗战之血肉丛林
关于抗战之血肉丛林岛寇荼毒，痛及滇西，谁无血气，忍弃边陲，桓桓将士，不顾艰危，十荡十决，甘死如饴，座中有圹，名勒丰碑，檩檩大义，昭示来兹。谨以此文献给曾经为了保卫国家出国在缅甸与倭寇决一死战的远征军将士们！历史不会忘记，中国人不会忘记，虽然你们曾经被记忆尘封，但是时间也绝不会让你们永远蒙尘！...