为什么我觉得 actor 很难用？ 这几天对actor有所理解 反正就是得出了一个结论，有些问题的解决方案，足够面向对象+分布式后，就变成了actor 回想过去，自己也实现过actor，… 显示全部 关注者 608 被浏览 有些领域akka是适合的，比如游戏领域天然有actor的感觉，仿真系统天然有actor的感觉。 在这些领域使用akka也许还不错。 问题是这些领域已经有很成熟的框架和生态在运作了。 如果akka要在这些领域取得自己的地位，就需要比现有方案好的多得多（好10倍理论）。 · actor actor是actor模型中的核心概念，每个actor独立管理自己的资源，与其他actor之间通信通过message。 这里的每个actor由单线程驱动，相当于skynet中的服务。 actor不断从mailbox中获取尚未处理的message，mailbox使用的结构是无界阻塞的linkedblockingqueue。 如果你对 actor-critic 这个经典的 rl 框架有所了解，那就很容易理解了，ppo 就是采用了 actor-critic 框架的一种算法，其中 critic 的作用就是计算 优势函数 (advantage function)，从而 减少策略梯度估计的方差，使训练更稳定、高效。 所以，品出点端倪了没有？ Llm的熵（比如verl训练时候tensorboard上的actor的entropy）是怎么计算的？ 如题。 我观察到了一个现象，第一轮rl训完后，llm的熵已经降低到0. 001左右了，然后在别的任务上进行第二轮rl训练，初始熵又回到了0. 5。 故产生以下… 显示全部 关注者 9
