[关闭]
@babydragon 2015-09-06T17:45:05.000000Z 字数 2802 阅读 1873

为Ubuntu设计快速缩略图服务

原创

最近,James HenstridgeXavi Garcia MenaMichi Henning为Ubuntu和Ubuntu Touch实现了一个快速、可伸缩的缩略图服务

简介

手机和桌面应用都有很多场景需要使用缩略图服务。同时,有许多媒体类型需要生成缩略图,比如图片、音乐、视频等。为每种媒体类型设计独立的API会增加开发成本,且生成这些缩略图也需要消耗大量CPU资源,网络传输缩略图会消耗不少带宽。本文主要介绍一种通用的缩略图服务,它为开发者屏蔽了上述这些复杂内容,通过缓存等措施大大提升了缩略图服务的性能。

系统架构

系统架构

外部API

缩略图服务对外提供了三种API。

同时,缩略图服务还提供了命令行工具thumbnailer-admin,是得能够通过命令行操作上述两个DBus接口。
为了节省资源,DBus接口由DBus服务启动,在30秒空闲后关闭。

图片提取模块

图片提取模块包括图中的音频、视频提取器,下载器和图片提取器。

音频、视频提取器使用GStreamer来解码音频和视频文件。由于GStreamer自身的稳定性问题,部分解码器可能会导致程序挂起失去响应,因此将和GStreamer交互部分单独封装成独立的可执行程序vs-thumb。主服务通过管道的形式和它交互,很好的避免了因为解码器崩溃导致的稳定性问题。

下载器提供download_album和download_artist两个异步函数,通过Qt的QNetworkAccessManager组件从dash.ubuntu.com下载图片。

图片提取器使用图片转换模块从本地图片中提取缩略图图片。

图片缩放和转换模块

图片缩放和转换模块主要负责将图片转换和缩放成JPEG格式的最终图片文件。该模块使用Gdk-Pixbuf库进行转换。

针对JPEG图片,图片缩放模块会通过libexif库试图读取图片的EXIF信息。如果图片的EXIF信息包含缩略图,且该缩略图的大小不小于目标缩略图大小,则图片缩放模块会使用EXIF中的缩略图进行缩放,以提高性能。

磁盘缓存模块

磁盘缓存包括三部分,全尺寸图片缓存、缩略图缓存、失败缓存。

由于使用了三个缓存,缩略图服务在返回指定大小缩略图时的查找流程大致为:

  1. 检查缩略图缓存中是否已经存在指定大小的图片。如果存在则直接返回。
  2. 检查全尺寸缓存中是否有该图片的全尺寸副本。如果存在则使用全尺寸图片进行缩放,将缩放完成的缩略图添加到缩略图缓存后返回。
  3. 检查失败缓存中是否有对应的项,如果有则直接返回错误。
  4. 尝试从远程下载或者从原始文件提取缩略图。如果失败,则加入到失败缓存中,并返回错误。
  5. 如果原始文件是从远程下载,或者从音频、视频流中提取,将源文件加入到全尺寸缓存中。
  6. 缩放图片文件到指定大小,加入到缩略图缓存中,并返回。

性能提升

缩略图服务的主要耗时在基于网络的下载和基于CPU的图片提取。因此对性能的提升,主要考虑在网络IO和CPU利用率上。为了避免这两个耗时的操作阻塞其他请求,特别是能够可以从缓存模块中快速响应的请求,下载和图片抽取被放在独立的事件循环中,利用Qt的信号和槽机制,将耗时请求异步化。

对于缓存的测试,使用配置为Intel Ivy Bridge i7-3770k 3.5 GHz处理器和256GB固态硬盘的机器,测试数据为使用60字节长度字符串作为键,使用平均大小为20KB的随机二进制数据作为值,缓存大小为100MB。

缓存写入时间为大约2.8秒,然后测试场景为80%的缓存命中率,当缓存未命中时,在缓存中插入新的数据,触发缓存按照最近最少使用模式进行数据替换。在10万次循环中,缓存每秒返回约4800个“快照”,聚合读写吞吐率在每秒93MB。如果将缓存命中率提升到90%,每秒返回的记录数接近翻倍,达到了每秒7100条记录。[1]

总结

缩略图服务中的每个模块都有清晰的接口定义。支持新的媒体类型或者新的远程图片服务扩展非常容易,不会影响到现有代码。

为了尽可能的利用硬件资源,缩略图服务在针对长时间操作的异步接口使用了多线程的方式,提高系统IO利用率。

缩略图服务目前使用在Ubuntu Touch系统上,为图库、相机、音乐和其他使用媒体缩略图的应用提供缩略图服务。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注