Nginx中accept锁的机制与实现详解

2019-10-17 17:07:11王冬梅

对于accept锁的处理和epoll中注册注销accept事件的的处理都是在ngx_trylock_accept_mutex中进行的。而这一系列过程则是在nginx主体循环中反复调用的void ngx_process_events_and_timers(ngx_cycle_t *cycle)中进行。

也就是说,每轮事件的处理都会首先竞争accept锁,竞争成功则在epoll中注册accept事件,失败则注销accept事件,然后处理完事件之后,释放accept锁。由此只有一个进程监听一个listen套接字,从而避免了惊群问题。

1.3 事件处理机制为不长时间占用accept锁作了哪些努力

accept锁处理惊群问题的方案看起来似乎很美,但如果完全使用上述逻辑,就会有一个问题:如果服务器非常忙,有非常多事件要处理,那么“处理所有事件这一步”就会消耗非常长的时间,也就是说,某一个进程长时间占用accept锁,而又无暇处理新连接;其他进程又没有占用accept锁,同样无法处理新连接——至此,新连接就处于无人处理的状态,这对服务的实时性无疑是很要命的。

为了解决这个问题,Nginx采用了将事件处理延后的方式。即在ngx_process_events的处理中,仅仅将事件放入两个队列中:

ngx_thread_volatile ngx_event_t *ngx_posted_accept_events;        
ngx_thread_volatile ngx_event_t *ngx_posted_events; 

返回后先处理ngx_posted_accept_events后立刻释放accept锁,然后再慢慢处理其他事件。

即ngx_process_events仅对epoll_wait进行处理,事件的消费则放到accept锁释放之后,来最大限度地缩短占有accept的时间,来让其他进程也有足够的时机处理accept事件。

那么具体是怎么实现的呢?其实就是在static ngx_int_t ngx_epoll_process_events(ngx_cycle_t *cycle, ngx_msec_t timer, ngx_uint_t flags)的flags参数中传入一个NGX_POST_EVENTS的标志位,处理事件时检查这个标志位即可。

这里只是避免了事件的消费对于accept锁的长期占用,那么万一epoll_wait本身占用的时间很长呢?这种事情也不是不可能发生。这方面的处理也很简单,epoll_wait本身是有超时时间的,限制住它的值就可以了,这个参数保存在ngx_accept_mutex_delay这个全局变量中。

下面放上ngx_process_events_and_timers 的实现代码,可以大概一观相关的处理:

void                   
ngx_process_events_and_timers(ngx_cycle_t *cycle)        
{                    
 ngx_uint_t flags;               
 ngx_msec_t timer, delta;             
    
	
	/* 省略一些处理时间事件的代码 */                    
 // 这里是处理负载均衡锁和accept锁的时机         
 if (ngx_use_accept_mutex) {            
  // 如果负载均衡token的值大于0, 则说明负载已满,此时不再处理accept, 同时把这个值减一
  if (ngx_accept_disabled > 0) {           
   ngx_accept_disabled--;            
                    
  } else {                
   // 尝试拿到accept锁            
   if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR) {    
    return;              
   }                 
                    
   // 拿到锁之后把flag加上post标志,让所有事件的处理都延后   
   // 以免太长时间占用accept锁          
   if (ngx_accept_mutex_held) {          
    flags |= NGX_POST_EVENTS;          
                    
   } else {               
    if (timer == NGX_TIMER_INFINITE        
     || timer > ngx_accept_mutex_delay)       
    {                
     timer = ngx_accept_mutex_delay; // 最多等ngx_accept_mutex_delay个毫秒,防止占用太久accept锁
    }                
   }                 
  }                  
 }                    
 delta = ngx_current_msec;             
                    
 // 调用事件处理模块的process_events,处理一个epoll_wait的方法    
 (void) ngx_process_events(cycle, timer, flags);       
                    
 delta = ngx_current_msec - delta; //计算处理events事件所消耗的时间   
                    
 ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,       
     "timer delta: %M", delta);         
                    
 // 如果有延后处理的accept事件,那么延后处理这个事件      
 if (ngx_posted_accept_events) {           
  ngx_event_process_posted(cycle, &ngx_posted_accept_events);   
 }                   
                    
 // 释放accept锁               
 if (ngx_accept_mutex_held) {            
  ngx_shmtx_unlock(&ngx_accept_mutex);         
 }                   
                    
 // 处理所有的超时事件              
 if (delta) {                
  ngx_event_expire_timers();            
 }                   
                    
 ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,       
     "posted events %p", ngx_posted_events);      
                    
 if (ngx_posted_events) {             
  if (ngx_threaded) {             
   ngx_wakeup_worker_thread(cycle);         
                    
  } else {                
   // 处理所有的延后事件            
   ngx_event_process_posted(cycle, &ngx_posted_events);    
  }                  
 }                   
}