nginx module对于发送数据块的大小有限制吗？

guoshuang1990

各位朋友：
	大家好！
	我叫郭爽，是一名大四学生，目前在实习中，开发一个nginx module。该module会根据用户请求地址里的参数，返回特定数据。有时返回的数据会比较大，甚至达到几个mb的程度。但是我所做的module对于返回较小的数据（十几k）没有问题，再大的话浏览器端就只能收到部分数据，用curl命令请求数据也是如此。
	我做了一个实验，每当有请求过来都让module读一个文件（2mb+），并将读到的全部内容返回给浏览器，结果还是只能收到部分数据。一定是我的代码有问题，还请各位指点。附上我的代码：


／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／／

ngx_chain_t * createchain(unsigned char * str,int len,ngx_pool_t *pool)；
void deschain(ngx_chain_t * out,ngx_pool_t * pool)；

/* Handler function */

static ngx_int_t
ngx_http_echo_handler(ngx_http_request_t *r)
{
    	ngx_int_t rc;

    	if(!(r->method & (NGX_HTTP_HEAD|NGX_HTTP_GET|NGX_HTTP_POST)))
    	{
        	return NGX_HTTP_NOT_ALLOWED;
    	}
    	r->headers_out.content_type.len = sizeof("text/html") - 1;
   	r->headers_out.content_type.data = "" *) "text/html";
   	r->headers_out.status = NGX_HTTP_OK;
   	if(r->method == NGX_HTTP_HEAD)
   	{
    	    rc = ngx_http_send_header(r);
    	    if(rc != NGX_OK)
   	    {
    	        return rc;
  	    }
   	}


	char path[100];
	strncpy(path,(char *)r->args.data,r->args.len);//这里我直接将query string作为文件地址，用于测试
	path[r->args.len] = '\0';

	int fd;
	fd = open(path,O_RDONLY);
	printf("%s\n",path);
	char * str;
	struct stat buf;
	fstat(fd,&buf);
	str =(char *) ngx_pcalloc(r->pool,buf.st_size + 1);
	int count ;
	count = read(fd,str,buf.st_size);
	str[count] = '\0';
	
	ngx_chain_t * out;
	out = createchain((unsigned char * )str,count,r->pool);
	r->headers_out.content_length_n = count;

    	rc = ngx_http_send_header(r);
    	if(rc != NGX_OK)
    	{
    	    return rc;
    	}

	rc = ngx_http_output_filter(r,out);
	ngx_pfree(r->pool,str);
	deschain(out,r->pool);

	return rc;
}

#define CHAIN_BUFFER_SIZE 30000

ngx_chain_t * createchain(unsigned char * str,int len,ngx_pool_t *pool)
{//由于要发送的数据太多，我要开辟一个chain buffer链来发送数据。
	int num,i;
	if(len % CHAIN_BUFFER_SIZE == 0)
	{
		num = len / CHAIN_BUFFER_SIZE;
	}
	else
	{
		num = len / CHAIN_BUFFER_SIZE + 1;
	}
	
	ngx_chain_t * out;
	out =(ngx_chain_t *) ngx_pcalloc(pool,num * sizeof(ngx_chain_t));
	ngx_buf_t * b;
	b = (ngx_buf_t *) ngx_pcalloc(pool,num * sizeof(ngx_buf_t));
	for(i = 0;i < num ;i ++)
	{
		out[i].buf = &b[i];
		if(i == num - 1)
		{
			out[i].next = NULL;
			b[i].pos = str + i * CHAIN_BUFFER_SIZE;
			b[i].last = str + len;
			b[i].memory = 1;
			b[i].last_buf = 1;
			
		}
		else
		{
			out[i].next = &out[i + 1];
			b[i].pos = str + i * CHAIN_BUFFER_SIZE;
			b[i].last = str + (i + 1) * CHAIN_BUFFER_SIZE;
			b[i].memory = 1;
			b[i].last_buf = 0;
		}
	}
	return out;
}


void deschain(ngx_chain_t * out,ngx_pool_t * pool)
{//释放chain buffer
	ngx_pfree(pool,out[0].buf);
	ngx_pfree(pool,out);

}


	水平有限，让各位见笑了！有劳各位费心！
	PS：感谢春哥指点我来这里求助！

yankai0219

关于这个问题，我就抛砖引玉了。

首先理解ngx_buf_t这个结构体，这个buf结构体不仅仅可以包含内存中数据的信息，也可以包含文件的信息。其中file_pos,file_last,ngx_file_t *file，in_file这些都是与文件有关的。我想我说到这儿，你就应该能明白我的意思了。那就是ngx_buf_t中我不读取文件的内容，而是将文件的信息填入到这几个ngx_buf_t的结构体中，然后构造ngx_chain_t 将其发送出去。

另外，如果按照你所讲的思路：将文件内容全部读取到内存中，然后再发送。这样将会占用多大的内存呢？Nginx对于内存的使用是非常精细和吝啬的，也正是这种精细成就了Nginx的高性能。

duzhe0211

先不说别的问题。你这样在nginx中打开文件读，是会把nginx阻塞住的。先去学习一下什么是非阻塞io吧。

在 2013年4月22日下午1:45，yankai0219 <yank...@126.com>写道：

关于这个问题，我就抛砖引玉了。
首先理解ngx_buf_t这个结构体，这个buf结构体不仅仅可以包含内存中数据的信息，也可以包含文件的信息。其中file_pos,file_last,ngx_file_t *file，in_file这些都是与文件有关的。我想我说到这儿，你就应该能明白我的意思了。那就是ngx_buf_t中我不读取文件的内容，而是将文件的信息填入到这几个ngx_buf_t的结构体中，然后构造ngx_chain_t 将其发送出去。

另外，如果按照你所讲的思路：将文件内容全部读取到内存中，然后再发送。这样将会占用多大的内存呢？Nginx对于内存的使用是非常精细和吝啬的，也正是这种精细成就了Nginx的高性能。

--
sp;

--
杜哲