本文共 4444 字，大约阅读时间需要 14 分钟。
之所以要写这篇东西是因为想把之前在公司的一些问题总结一下，在内存相关操作中一些ordering和dependency的问题一直没能太搞明白，所以最近空闲下来静下心研究了一下，觉得还是有所收获，期待各路IA高手们来进行拍砖。一直存在的问题有如下三个
what is memory ordering这个问题真的是困惑了我好久。
from the IA developer manual volume3 chapter8.2 we can find the definition
*The term memory ordering refers to the order in which the processor issues reads(loads) the writes(store) through the system bus to system memory
然后在manual里面就指出了其实在单processor的系统下面有如下ordering的规则
初看不会去细想这个乱序究竟是什么，但是当要深入去思考其out of order的一些机制时就发现不得不考虑以上的问题。
下面我就给大家说下order的概念。
其实order要分为不同的层面来看
1. 指令被schedule的order 这边的被schedule的指令是后端在sheduler buffer（reservation station）里面等待被调度到执行单元的指令。等待调度的基本条件是src operand is ready，所以这边就会有调度时候的out of order，但是除了要满足src operand ready的条件之外，还会考虑以上load之间不能乱序的限制，所以如果上一条load没有执行完（此处可以没有retirement） ，下一条load是不会被调度的 2. 指令执行完的order 在执行的时候如果发生了cache miss， bank conflict, cache replacement等意外情况，read的读取会变得比较慢，如果恰巧下一个load or read是cache hit的这个时候就会使得这个load会先执行完。 所以在执行的时候必然会有out of order。 3. 指令回收（retirement时候的order） 所有的指令在retirement的时候都是in order的不会out of order。这边的指令回收对于load来说就是使某个寄存器有效，有效就是如果这个寄存器（其实准确是register file） 作为下面指令的源寄存器则下面的指令就可以考虑被调度了，但是对于store来说回收的时候会进行system bus或cache 的访问去写回数据。因为store在执行环节是先将数据写到store buffer里面的，等于是store的一个缓冲区，在回收环节才发生真正的写操作。一般把程序里面指令的顺序称为program ordering，较老的CPU的memory ordering（此处认为是指令访问system bus的顺序对于load是执行环节，store是retirement环节）如pentium，486都是program ordering。但是pentium 4开始后都是采用processor ordering，所谓processor ordering就是说memory ordering于program ordering不一样但是CPU会处理这两者之间的差别使得最终的causality保持正确，但是这种causality是指单核上的。
我们来看下processor ordering它遵循的条款就是文章开头的四条，其实最主要的区分processor和program ordering的主要地方就是在processor ordering里允许load可以和前面的store乱序执行。但是这种乱序显然是对causality没有影响，不过对于多核就会有影响了。这个会在barrier相关的文章里面进行分析。翻看kernel关于memory barrier 关于IA的code，大家可以看到wmb的展开为空 但是rmb的展开是lfence不为空
#ifdef CONFIG_X86_OOSTORE/* Actually there are no OOO store capable CPUs for now that do SSE, but make it already an possibility. */#define wmb() alternative("lock; addl $0,0(%%esp)", "sfence", X86_FEATURE_XMM)#else#define wmb() __asm__ __volatile__ ("": : :"memory")#endif#define mb() alternative("lock; addl $0,0(%%esp)", "mfence", X86_FEATURE_XMM2)#define rmb() alternative("lock; addl $0,0(%%esp)", "lfence", X86_FEATURE_XMM2) 好奇心强的同学会说这个不符合情理啊上一节刚说过RAR不是不会out of order的那为什么要加特殊指令来保护呢
说一下加memory barrier就是防止乱序的但是大家要分清楚乱序产生的危害分为local（single processor）和remote（multiple processors）的
先看local的case： 1.read a then read b如果a 和 b是MMIO的话，并且有side effect，则如果b先被执行，a后执行就可能直接对结果有影响。 2.read a then read b如果a 和 b是普通的system memory（AKA DRAM），同1一样分析但是此处没有side effect所以没有问题（这边有个问题就是load之间不乱序究竟是指执行时还是commitment的时候，这个问题需要重写一篇blog来解释它） 3.那write after write是怎么保证ordering的呢，首先执行的时候write or store是可以乱序的但是store不是直接写到cache or mem里面，是写到一个叫store buffer的地方，所以执行的时候乱序只是说写到SB里面的顺序是乱序的。回写到cache里面的时候发生在retirement的阶段，前面已经说过了retirement的时候是按序的，所以WAW是in order的。 4. 同3write after read也可以解释为什么可以in order还是由于有store buffer。 5. 那read after write如何来保证当操作同一个地址的时候能够in order 首先还是一样的分析执行的时候可以out of order所以read会读到较老的数据，导致write想更新的数据被没有被read catch到，看似这边就有问题了，但是IA在load的时候同样使用了一个叫load buffer的东东，load的操作会被放在load buffer里面，当store在执行的的时候，除了写store buffer，CPU还会检查load buffer里面是不是有相同地址的操作如果有并且这个指令的timestamp是在store之后的就会给这个load操作打上个标志位，让它在retirement的时候看情况决定是不是需要重新去执行一遍，这里有个store to load forwarding的应用就是说load不需要去store对应的cache里面去拿data因为这个过程会要等到store这个指令retirement，所以在此之前可以直接去store buffer里面读相应的内容。说了这么多废话我们来看一个多CPU的case来解答我的第二个问题
这个例子基本会在很多奖rmb的地方用到 Let’s take a look at the pesudo code below: processor Aread a
if( a == 2) read bprocessor B
store 1 –> b store 2 –>aoriginal a = 0; b=0;
网上的分析如下：如果这个时候A上read发生out of order则会有可能get到 a=2 b=0的情况 此时需要在read b上面的语句中加上rmb使得 read b 不能跨越rmb去执行 所以必然会先read a then read b 看似这边要加rmb但是rmb是一个architecture independent的函数，所以还是要看具体架构实习，如果放在IA上由于read 和read肯定不会乱序，所以rmb的展开应该为空， 看来问题还是没解决。所以经过多方查找发现有人说lfence都是多余的 我唯一的解释就是当如果两个load都是真对的是MMIO但是此MMIO又没有设置成UC类型的情况下需要lfence。最后来搞个轻松点的
看过IA micro architecture的人都会注意到load都只需要一个port或是说只需要一个运行单元，而store需要两个一个为store addr一个为store data，我看了manual我觉得这边的store 和 load除了做需要从VA拿到PA，还有件重要的事情就是要操作load buffer 和 store buffer，这个上一小节就已经详细说过了，之所以load需要一个addr和一个data运算单元是应为store buffer里面会存address 和 data，而load buffer 里面我估摸只有address， 那data存在哪里呢就是在register file里面但是这个register file只有retirement的时候才会ready。link:
转载地址：http://eqgfb.baihongyu.com/