Hi Justin and Dan,<br>Sorry for all the trouble,  it&#39;s all my fault, it turned out that I used the wrong AMI type. it worked like a charm after I changed that. I do have another question though, I need to use GSL and gotoBLAS for my computation, which I didn&#39;t find it installed on the cluster, I am thinking about compiling these locally on my EBS volume and include the library in my code. is there any other better way? <br>
Thank you all guys for the help!<br>Chuan<br><br><br><br><div class="gmail_quote">On Wed, Mar 17, 2010 at 10:51 AM, Justin Riley <span dir="ltr">&lt;<a href="mailto:jtriley@mit.edu">jtriley@mit.edu</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Hi Chuan,<br>
<br>
Have you checked whether or not the EBS volume ever gets to an &#39;attached&#39;<br>
state using either ElasticFox or the AWS web console?<br>
<br>
Also, you can run starcluster in debug mode by passing -d option:<br>
<br>
$ starcluster -d -s<br>
<br>
This will do the same thing as -s only with debug output enabled.<br>
<br>
Would you mind sending me that output? Please be careful about any sensitive<br>
data in the output if you cc this list.<br>
<br>
Thanks,<br>
<font color="#888888"><br>
~Justin<br>
</font><div><div></div><div class="h5"><br>
<br>
On Wednesday 17 March 2010 1:18:25 am chuan gao wrote:<br>
&gt; Hi Justin and Dan,<br>
&gt;<br>
&gt; Sorry for the late reply cuz I was tied up on a few things.<br>
&gt;<br>
&gt; To Justin: I tried it without mount EBS and I still have that problem. I<br>
&gt; believe it&#39;s related to this though cuz it happened at the last step of<br>
&gt; configuring the cluster(all machines have been started by that time).<br>
&gt;<br>
&gt; To Dan: I did tried reinstall paramiko (not in debug mode though since I<br>
&gt; didn&#39;t find out how to do so,) and the system said installed sucessfully. I<br>
&gt; also tried starting the cluster outside the directory without success.<br>
&gt;<br>
&gt; I also tried the same thing on another machine which has ubuntu on it and I<br>
&gt; got the same error. I am not the administrator to that machine but I guess<br>
&gt; it should be ubuntu 9.04.<br>
&gt;<br>
&gt; any ideas?  thank you guys very much for handling this.<br>
&gt;<br>
&gt; Chuan<br>
&gt;<br>
&gt; On Tue, Mar 16, 2010 at 7:13 PM, Justin Riley &lt;<a href="mailto:jtriley@mit.edu">jtriley@mit.edu</a>&gt; wrote:<br>
&gt; &gt; Hi Chuan,<br>
&gt; &gt;<br>
&gt; &gt; Sorry to hear you&#39;re having issues with StarCluster. I just got back in<br>
&gt; &gt; town,<br>
&gt; &gt; sorry for the delayed response.<br>
&gt; &gt;<br>
&gt; &gt; Dan, as always, thanks for responding :D<br>
&gt; &gt;<br>
&gt; &gt; Could you try launching a cluster without using the EBS volume and let me<br>
&gt; &gt; know<br>
&gt; &gt; if it succeeds? Nicolas Pinto had a similar issue with StarCluster and I<br>
&gt; &gt; believe it only happened for him when using EBS.<br>
&gt; &gt;<br>
&gt; &gt; Thanks,<br>
&gt; &gt;<br>
&gt; &gt; ~Justin<br>
&gt; &gt;<br>
&gt; &gt; On Tuesday 16 March 2010 2:15:12 pm chuan gao wrote:<br>
&gt; &gt; &gt; I am using the standard AMI<br>
&gt; &gt; &gt; the OS is  ubuntu 9.10<br>
&gt; &gt; &gt; yes. I can ssh into AMI with no problem. actually, the error occured at<br>
&gt; &gt;<br>
&gt; &gt; the<br>
&gt; &gt;<br>
&gt; &gt; &gt; last step when it is configuring NFS. I checked the AMI on amazon and<br>
&gt; &gt;<br>
&gt; &gt; they<br>
&gt; &gt;<br>
&gt; &gt; &gt; have been started. and my permanent volume has been mounted.<br>
&gt; &gt; &gt; concerning the error,<br>
&gt; &gt; &gt; build/bdist.linux-i686/egg/paramiko/sftp_client.py<br>
&gt; &gt; &gt; I looked into directory StarCluster-0.90.1/build/bdist.linux-i686 and<br>
&gt; &gt; &gt; nothing is there. should there be egg/paramiko/sftp_client.py ?<br>
&gt; &gt; &gt; Thanks<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; On Tue, Mar 16, 2010 at 1:46 PM, Dan Yamins &lt;<a href="mailto:dyamins@gmail.com">dyamins@gmail.com</a>&gt; wrote:<br>
&gt; &gt; &gt; &gt; Justin is on this list, so I&#39;m sure he&#39;ll respond soon.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Are you using the standard AMI, or one you built yourself?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Also, what is your operating system and version?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Also, can you ssh into instances of the AMI, independently of<br>
&gt; &gt; &gt; &gt; starcluster?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On Tue, Mar 16, 2010 at 1:17 PM, chuan gao &lt;<a href="mailto:aggie.gao@gmail.com">aggie.gao@gmail.com</a>&gt;<br>
&gt; &gt;<br>
&gt; &gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt; Thanks Dan, I am pretty sure that I got paramiko installed<br>
&gt; &gt; &gt; &gt;&gt; correctly. I&#39;ll work on it a bit more.<br>
&gt; &gt; &gt; &gt;&gt; will Justin have a chance to look at this email list and try to<br>
&gt; &gt; &gt; &gt;&gt; point out what could be the problem?<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; On Tue, Mar 16, 2010 at 11:21 AM, Dan Yamins &lt;<a href="mailto:dyamins@gmail.com">dyamins@gmail.com</a>&gt;<br>
&gt; &gt;<br>
&gt; &gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt; Hm.  I&#39;m not sure what the problem is (your version is fine).<br>
&gt; &gt; &gt; &gt;&gt;&gt; Something is clearly wrong with either your paramiko installation<br>
&gt; &gt; &gt; &gt;&gt;&gt; or the way that starcluster is using it.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Have you tried testing paramiko outside the context of starcluster?<br>
&gt; &gt; &gt; &gt;&gt;&gt; Try testing it for normal ssh usage.  If that fails, then you&#39;ll<br>
&gt; &gt; &gt; &gt;&gt;&gt; probably have identified the problem.   (I don&#39;t know if you just<br>
&gt; &gt; &gt; &gt;&gt;&gt; installed it, perhaps reinstallation would then help.)<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; If paramiko works normally, then perhaps there&#39;s an argument that<br>
&gt; &gt; &gt; &gt;&gt;&gt; is being passed on line 109 of starcluster/ssh.py that is supposed<br>
&gt; &gt; &gt; &gt;&gt;&gt; to represent an existing file object, that somehow isn&#39;t being<br>
&gt; &gt; &gt; &gt;&gt;&gt; properly created (probably earlier in the ssh cycle).  In this<br>
&gt; &gt; &gt; &gt;&gt;&gt; case, Justin<br>
&gt; &gt;<br>
&gt; &gt; (the<br>
&gt; &gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; creator of starcluster) should probably be the one to address your<br>
&gt; &gt; &gt; &gt;&gt;&gt; problem.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Dan<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; On Tue, Mar 16, 2010 at 10:57 AM, chuan gao &lt;<a href="mailto:aggie.gao@gmail.com">aggie.gao@gmail.com</a>&gt;<br>
&gt; &gt;<br>
&gt; &gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; paramiko-1.7.6-py2.6.egg<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; Thanks for replying.<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt; On Tue, Mar 16, 2010 at 9:02 AM, Dan Yamins &lt;<a href="mailto:dyamins@gmail.com">dyamins@gmail.com</a>&gt;<br>
&gt; &gt;<br>
&gt; &gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; On Tue, Mar 16, 2010 at 1:05 AM, chuan gao &lt;<a href="mailto:aggie.gao@gmail.com">aggie.gao@gmail.com</a><br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;wrote:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Here is the error message:<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; &gt;&gt;&gt; Installing Sun Grid Engine...<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; [SNIP]<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;   File &quot;build/bdist.linux-i686/egg/paramiko/sftp_client.py&quot;,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; line 675, in _read_response<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;   File &quot;build/bdist.linux-i686/egg/paramiko/sftp_client.py&quot;,<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; line 701, in _convert_status<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; IOError: [Errno 2] No such file<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; What version of paramiko do you have installed?<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Starcluster mailing list<br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; <a href="mailto:Starcluster@mit.edu">Starcluster@mit.edu</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; <a href="http://mailman.mit.edu/mailman/listinfo/starcluster" target="_blank">http://mailman.mit.edu/mailman/listinfo/starcluster</a><br>
&gt;<br>
</div></div></blockquote></div><br>