中国分布式计算论坛

 找回密码
 新注册用户
搜索
查看: 1562|回复: 5

[项目新闻] 【天文类】theSkyNet - SourceFinder

[复制链接]
发表于 2017-12-6 12:37:29 | 显示全部楼层 |阅读模式
项目网址:https://sourcefinder.theskynet.org/duchamp/
项目主办方:射电天文学国际研究中心(ICRAR)
项目介绍:
Sourcefinder 是theSkyNet 的一个子项目。theSkyNet 现在一共有两个子项目,另一个是theSkyNet - POGS ,这两个项目在BOINC 上都是独立的,需要单独加入。

Sourcefinder 是一款基于BOINC 的分布式计算项目。本项目致力于研究如何检验信号源定位程序(sourcefinding applications )的有效性。信号源定位程序对包含无线电波数据的“数据块”('cubes' of data)进行分析处理,从而辨认出信号源的具体位置。
我们目前正在对两个程序进行检验:Duchamp 和SoFiA 。

信号源定位程序有效性,由该程序在一个“数据块”中对信号源定位的正误结果之比决定。
为了得到公正的结果,我们让每个程序都处理一个称为DINGO的“数据块”的同一部分。
DINGO 是一个人为模拟出的“数据块”,其中包含了目前已知的所有信号源,并且覆盖了不同程度的模拟噪声。DINGO 的总体积约为700GB 。

此时就轮到BOINC 登场了。这个巨大的“数据块”被项目分成大约10MB到100MB的小块,分发给参与项目的志愿者进行处理,尔后再将对这个小块的分析结果发回项目服务器。
我们将Duchamp 和 SoFiA 这两个程序检验完毕后,研究者将会对结果进行分析研究,并撰写对比此二者间性能的研究论文。

不久以后我们还将有望对ASKAP (Australian Square Kilometre Array Pathfinder )生成的数据进行分析。

关于SKA(摘自维基):
平方千米阵(Square Kilometre Array,缩写为SKA)是计划中的下一代巨型射电望远镜阵,工作在0.10–30GHz的波段,有效接收面积可以达到大约1平方公里,灵敏度将比目前世界上最大的射电望远镜还要高50倍。
平方千米阵将由上千台天线组成,其中有一半天线位于中央直径5公里的区域内,另有四分之一的天线散布在周围150公里的区域内,其余的分布在大约3000公里的范围内,呈螺旋形排列。平方千米阵预计能够探测到宇宙大爆炸之后第一代恒星和星系形成时发出的电磁波、揭示磁场在恒星和星系演化过程中的作用、探测暗能量产生的种种效应,甚至有人希望能够接受到地外智慧生命发出的无线电信号。
平方千米阵计划始于1993年。在国际无线电科联在日本京都举行的大会上,10个国家的天文学家联合提议建造接受面积为1平方公里的巨型射电望远镜阵。初期选址有澳大利亚、南非、中国、阿根廷四个国家参加了角逐。2006年9月,中国和阿根廷的方案分别由于地理条件以及电离层不稳定而遭到否决。澳大利亚和南非因良好的无线电环境成为最后的候选者。澳大利亚的候选台址位于其西部,距离米卡萨拉(Meekatharra)大约100公里,南非候选站址位于北开普省的卡鲁盆地,距离卡那封(Carnarvon)大约95公里,部分天线将位于博茨瓦纳、纳米比亚、莫桑比克、马达加斯加、毛里求斯、肯尼亚、加纳等周边国家。
平方千米阵计划将于2008年左右选定最终建造地点,2010年开始建造,2015年试运行,2020年开始全面运行。整个项目预计将耗资16亿美元。
2012年5月25日,计划团队决定,将于2016年开始在南非、澳洲等地兴建平方千米阵。





 楼主| 发表于 2017-12-6 12:52:47 | 显示全部楼层
2017-12-06: Duchamp Sourcefinder, SoFiA Production Update 5

Fixed a permission issue with the VM image on the server (sorry!).
Added another two sets of workunits to the queue, although we still have a fair amount of work remaining as it is, so that's a good sign.
---------------
2017.12.06:SoFiA 第五次升级
修复了服务器上关于VM图像授权的问题(抱歉啦!)
在队列里添加了另外两组WU,虽然还剩下一大堆要算,不过总算是有进展,势头不错

评分

参与人数 1基本分 +15 收起 理由
zhouxiaobo + 15 已上weibo,wiki看来也要加。。

查看全部评分

 楼主| 发表于 2018-2-28 21:45:29 | 显示全部楼层
2018-02-28: Duchamp Sourcefinder, SoFiA Update 8 and some changes at ICRAR

Hi everyone,

There's been a lot going on over the last week at ICRAR, and I've got a lot to update you on.

I was originally contracted by Outreach to work more or less exclusively on theSkyNet. As of March this year, my contract is being moved over to DIA (Data intensive astronomy), who want to move me to work on other projects.

I met with the head of DIA last week and it's been decided that after the 100MB workunits are all done done, I'll need to wrap up Sourcefinder and organise all of the data we've crunched so far in preparation for analysis.

So bearing this in mind, my new plan is to continue running 100MB workunits through the sofiabeta app, as everything is more less working there as it is. sofiabeta will remain a beta app so people can opt in / opt out as they please, as the 100MB workunits are significantly more intensive than the 10MB workunits,

Then, once we've completed the 100MB workunits, I'll spend some time working on a public contributers page that'll list everyone who has contributed to Sourcefinder. I'll also try and ensure that a link to this page is present in the final paper analysing the results. Last I checked they were generally against the idea of mentioning a list of contributers in the paper, but they thought that providing a link to a web page that listed the contributers would be fine.

As for the ASKAP data that was promised to me months ago, I'm still not sure of its current status. Once the 100MB workunits are done, I'll see if I can chase it down and get an update as to whether they want us to process it or not.

I also wanted to write a results viewer that would allow users to search for sources they've found and view them, but it doesn't look like I'll be able to do that anymore if I'm being moved to other projects. Sorry about that.

As for SoFiA, I'm looking at increasing the rsc_memory_bound for the 100MB workunits to be 4GB, meaning computers with less than 4GB of memory wont be given these workunits. Thanks to LumenDan for bringing this up.
I'll keep pushing out at least one set of workunits per week, but depending on the disk space of the server, I might be able to push out two. We'll see.

If there are any clarifications anyone needs, feel free to ask. I'll try to answer anything.

Regards,
Sam


https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=273
-------------
2018.02.28 DuchampSourcefinder ,SoFiA 8号升级以及射电天文学国际研究中心(ICRAR的一些变动

哈喽大家好,
刚过去的一周在ICRAR里发生了不少事情,另外我还有一堆关于本次升级的新闻要告诉大家。
我本来是与Outreah签约,工作内容主要集中在theSkyNet 项目。而到今年3月,我的合约即将被迁至另一个项目,数据密集天文学(DIA ,Data intensive astronomy)。
上周我与DIA的高层进行了谈话,领导们表示已经决定在100MB工作包全部处理完毕后,我将需要把Sourcefinder 与organise 项目运行至今我们处理出来的所有数据都打包好,以供下一步分析使用。
没办法,我也只能服从命令听指挥。我的新计划是尽力让所有事情都保持原样,继续使用Sofiabeta软件继续处理100MB数据块。Sofiabeta 会一直保持测试状态,以便大家能够自己决定是否使用它。因为相比于10MB的数据块,100MB的数据块要密集得多。
等到我们处理完100MB的数据块以后,我会花些时间把每一位Sourcefinder 项目的贡献者都列在一个网页上。我也会尽力保证这个网页的链接会体现在分析计算结果的论文上。上次我与他们讨论的时候,他们都不同意在文章中出现一长串贡献者名单,不过在文中附上写有贡献者名单的网页地址倒是可以接受。
关于好几个月之前承诺给我的ASKAP数据,到现在也没个信儿。一旦100MB数据块处理完毕,我会再试着跟进一下此事,看看他们到底想不想让我们处理那些数据。
我本来还想写一个计算成果的查看器,让大家能够看到现在已经发现的信号源。不过要是我真的转职到了别的项目,那这个查看器八成是写不出来了。实在抱歉。
关于SoFiA ,我正在着手将100MB数据块的rsc内存边界提高到4GB ,这意味着内存小于4GB的计算机将不会得到这些任务。感谢LumenDan 给了我这个点子。
我会继续每周最少放出一组数据包,不过根据服务器磁盘的空间情况,也许能放出两组。看情况吧。

你们亲爱的每次发新闻都像写英语六级作文似的,
Sam


评分

参与人数 1基本分 +15 收起 理由
zhouxiaobo + 15 weibo+1

查看全部评分

 楼主| 发表于 2018-3-14 12:19:54 | 显示全部楼层

2018-03-13: Duchamp Sourcefinder, theSkyNet.org back up

Hi Everyone,

Just a quick note to say I've revived theSkyNet.org web servers again.

Regards,
Sam



https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=274
------------
2018-03-13: Duchamp Sourcefinder, theSkyNet.org满血复活
嗨大家好~
我就是来说一句, theSkyNet.org已经恢复正常访问了。
以上,
Sam

 楼主| 发表于 2018-3-22 21:12:40 | 显示全部楼层
2018-03-21: Duchamp Sourcefinder, SoFiA 100MB Progress Update

Hello Everyone,

Just a quick progress update on the processing of our 100MB cubelets.
So far we've successfully processed 5 / 16 cubelet sets, and we're processing about 1 set per week.
The results database is looking pretty good too. I'm not seeing too many validation errors (about one every 30 or so results), so that's certainly promising.

Just a note that you'll only receive 100MB cubelets if you opt in to receiving them via checking the "Run test applications?" checkbox on the Sourcefinder preferences page. This is because the 100MB cubelets are significantly more CPU, memory, and disk intensive than the previous cubelets.

Thanks,
Sam


------------
2018-03-21: Duchamp Sourcefinder,SoFiA 100MB数据块分析进度更新
哈喽大家好,
现在向大家简单汇报一下目前100MB数据块的分析进度。
目前我们已经成功地处理完了16个数据集中的5个,而我们目前的速度是大约每周一个数据集。
结果数据库看起来状态也不错。我没发现太多验证错误(大约每30个结果中有1个出错),所以前景还是不错的。
顺便提一句,如果你在项目选项中勾选“运行测试程序吗?(Run test applications?)”,那么你将只收到100MB数据块的任务。
感谢,
Sam

评分

参与人数 1维基拼图 +10 收起 理由
zhouxiaobo + 10 wiki +1

查看全部评分

 楼主| 发表于 2018-5-9 14:59:06 | 显示全部楼层

2018-05-08: Duchamp Sourcefinder, Sourcefinder shutting down.

Hi Everyone,

So some bad news today. Kevin was recently talking with a few of the higher ups at ICRAR, and it's been decided that Sourcefinder is to be shut down along with POGS.

I've also received word that the the scientists no longer need the data that's been crunched by Sourcefinder. I find extremely unfortunate considering the amount of time and effort that both all of you and myself have put into this project over the last few years, but that's just the way it is.
It would've been nice to have been notified about this sooner, but sometimes that doesn't happen.

We'll still keep a store of everything that's been computed by Sourcefinder, because we may be able to find a use for it in the future.

I should also mention that within ICRAR there's a pretty heavy shift away from distributed computing methods such as BOINC, toward simply utilising the increasing processing power of supercomputers. With this in mind, it's fairly unlikely that ICRAR will be looking to start up any new distributed computing projects in the near future.

Regardless, a big thank you to everyone who has contributed to Sourcefinder. I appreciate everything you've done to help out on this project, especially considering how rocky a lot of it has been. I'm just sorry that we now don't have an immediate use for all of the data you've processed.

As with the POGS shutdown thread, I'll try to answer any questions anyone has.

Sam








--------
2018-05-08: Duchamp Sourcefinder, 项目即将关闭
大家好,
今天要向大家报告一个坏消息。Kevin 最近正与ICRAR 高层交流,并已经敲定Sourcefinder 与POGS 将在近期关闭。
我还听到一些消息,说现在科学家已经不再需要Sourcefinder 项目提供的计算数据。我现在只觉得万念俱灰,我和大家共同投入了无数心血的项目竟然得到这样的结果,但很遗憾事实就是如此。如果能早点注意到这个问题,也许我们会有更好的结果,可惜不知道为什么我并没有注意到。
我们仍将把目前Sourcefinder 已经得到的计算结果保存好,也许将来我们能发现这些数据还有其他用处。
我还要提到一件事,对于科学计算的方法,ICRAR 内部意向已经向超算产生了很大的倾斜,而疏远了使用类似于BOINC 的分布式计算方式。据此来看,ICRAR 在今后也不太可能再开发其他分布式计算项目了。
无论如何,还是要向参与Sourcefinder 的各位致以我最诚挚的感谢。感谢大家为这个项目做出的所有贡献。大家处理的数据没能找到用武之地,我真的感到真的非常抱歉。
在POGS 项目关停的公告帖中,我将尽力回答大家的所有问题。
Sam
您需要登录后才可以回帖 登录 | 新注册用户

本版积分规则

论坛官方淘宝店开业啦~

小黑屋|手机版|Archiver|中国分布式计算总站 ( 沪ICP备05042587号 )

GMT+8, 2021-8-1 12:21

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表