并发访问磁盘,几个线程比较和适?

PHP程序设计语言和相关项目讨论
Post Reply
hellojinjie
学有小成
学有小成
Posts: 199
Joined: 2007-12-05 22:18

并发访问磁盘,几个线程比较和适?

Post by hellojinjie » 2008-09-24 12:43

我有大约一万五千个文件要用正则表达式去处理,然后把得到的东西插入mysql,用java写的,每个文件的大小就跟你当前查看的页面另存为html之后一样大。磁盘是普通的笔记本硬盘
并发处理文件的时候,几个线程比较和适
整个过程大概要多少时间。

User avatar
IOsetting
论坛管理员
论坛管理员
Posts: 3645
Joined: 2006-10-17 1:48

Re: 并发访问磁盘,几个线程比较和适?

Post by IOsetting » 2008-09-24 14:12

如果瓶颈在磁盘IO的话, 单线程. 普通的硬盘每个碟片只有一个磁头. 如果瓶颈在数据处理部分的话, 线程数可以尽量大, 一直大到磁盘IO成为瓶颈.

如果mysql也在本机的话, 建议还是单线程吧.

hellojinjie
学有小成
学有小成
Posts: 199
Joined: 2007-12-05 22:18

Re: 并发访问磁盘,几个线程比较和适?

Post by hellojinjie » 2008-09-24 18:08

要是单线程的话,要处理完文件要多长时间阿,,,,,

数据处理部分很简单就是用正则表达式匹配到自己想要的内容,

今天晚上先试试,一个线程处理文件,一个线程把东西塞进mysql

Post Reply