Which EC2 processors can you not use with either the 64-bit or 32 -bit starcluster AMI? <br><br><br><br><br><div class="gmail_quote">On Wed, Mar 17, 2010 at 2:04 PM, chuan gao <span dir="ltr">&lt;<a href="mailto:aggie.gao@gmail.com">aggie.gao@gmail.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Hi Justin,<br>Sorry for the confusion, I used the wrong AMI IDs. stupid mistake that everybody can avoid by following the instructions. I saw it on the webpage but still went ahead and changed that because I want to use the fastest processor on amazon. :(<br>

thank you very much for the software, truly nice work.<br><font color="#888888">Chuan</font><div><div></div><div class="h5"><br><br><br><div class="gmail_quote">On Wed, Mar 17, 2010 at 1:51 PM, Justin Riley <span dir="ltr">&lt;<a href="mailto:jtriley@mit.edu" target="_blank">jtriley@mit.edu</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div>-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA1<br>
<br>
</div>Chuan,<br>
<br>
Responding to your other question concerning GSL and gotoBLAS:<br>
<br>
Installing these locally into a EBS volume is a perfectly reasonable<br>
solution. In fact, this is how I envisioned most people storing their<br>
software/data on StarCluster.<br>
<br>
The other way to do this is to launch an instance, install the software<br>
globally (using apt-get and/or source packages), and then rebundle the<br>
AMI. You could then tell starcluster to use this new AMI in your config<br>
file.<br>
<br>
I will add GSL to the next version of StarCluster&#39;s AMI. goto blas must<br>
be custom compiled. I&#39;ll have a look at this and if it&#39;s not too much<br>
work I&#39;ll consider adding it in.<br>
<br>
Hope that helps,<br>
<br>
~Justin<br>
<div><br>
On 03/17/2010 01:35 PM, chuan gao wrote:<br>
&gt; Hi Justin and Dan,<br>
</div><div>&gt; Sorry for all the trouble,  it&#39;s all my fault, it turned out that I used<br>
&gt; the wrong AMI type. it worked like a charm after I changed that. I do<br>
&gt; have another question though, I need to use GSL and gotoBLAS for my<br>
&gt; computation, which I didn&#39;t find it installed on the cluster, I am<br>
&gt; thinking about compiling these locally on my EBS volume and include the<br>
&gt; library in my code. is there any other better way?<br>
&gt; Thank you all guys for the help!<br>
&gt; Chuan<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Mar 17, 2010 at 10:51 AM, Justin Riley &lt;<a href="mailto:jtriley@mit.edu" target="_blank">jtriley@mit.edu</a><br>
</div><div><div></div><div>&gt; &lt;mailto:<a href="mailto:jtriley@mit.edu" target="_blank">jtriley@mit.edu</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;     Hi Chuan,<br>
&gt;<br>
&gt;     Have you checked whether or not the EBS volume ever gets to an<br>
&gt;     &#39;attached&#39;<br>
&gt;     state using either ElasticFox or the AWS web console?<br>
&gt;<br>
&gt;     Also, you can run starcluster in debug mode by passing -d option:<br>
&gt;<br>
&gt;     $ starcluster -d -s<br>
&gt;<br>
&gt;     This will do the same thing as -s only with debug output enabled.<br>
&gt;<br>
&gt;     Would you mind sending me that output? Please be careful about any<br>
&gt;     sensitive<br>
&gt;     data in the output if you cc this list.<br>
&gt;<br>
&gt;     Thanks,<br>
&gt;<br>
&gt;     ~Justin<br>
&gt;<br>
&gt;<br>
&gt;     On Wednesday 17 March 2010 1:18:25 am chuan gao wrote:<br>
&gt;     &gt; Hi Justin and Dan,<br>
&gt;     &gt;<br>
&gt;     &gt; Sorry for the late reply cuz I was tied up on a few things.<br>
&gt;     &gt;<br>
&gt;     &gt; To Justin: I tried it without mount EBS and I still have that<br>
&gt;     problem. I<br>
&gt;     &gt; believe it&#39;s related to this though cuz it happened at the last<br>
&gt;     step of<br>
&gt;     &gt; configuring the cluster(all machines have been started by that time).<br>
&gt;     &gt;<br>
&gt;     &gt; To Dan: I did tried reinstall paramiko (not in debug mode though<br>
&gt;     since I<br>
&gt;     &gt; didn&#39;t find out how to do so,) and the system said installed<br>
&gt;     sucessfully. I<br>
&gt;     &gt; also tried starting the cluster outside the directory without success.<br>
&gt;     &gt;<br>
&gt;     &gt; I also tried the same thing on another machine which has ubuntu on<br>
&gt;     it and I<br>
&gt;     &gt; got the same error. I am not the administrator to that machine but<br>
&gt;     I guess<br>
&gt;     &gt; it should be ubuntu 9.04.<br>
&gt;     &gt;<br>
&gt;     &gt; any ideas?  thank you guys very much for handling this.<br>
&gt;     &gt;<br>
&gt;     &gt; Chuan<br>
&gt;     &gt;<br>
&gt;     &gt; On Tue, Mar 16, 2010 at 7:13 PM, Justin Riley &lt;<a href="mailto:jtriley@mit.edu" target="_blank">jtriley@mit.edu</a><br>
</div></div><div><div></div><div>&gt;     &lt;mailto:<a href="mailto:jtriley@mit.edu" target="_blank">jtriley@mit.edu</a>&gt;&gt; wrote:<br>
&gt;     &gt; &gt; Hi Chuan,<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; Sorry to hear you&#39;re having issues with StarCluster. I just got<br>
&gt;     back in<br>
&gt;     &gt; &gt; town,<br>
&gt;     &gt; &gt; sorry for the delayed response.<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; Dan, as always, thanks for responding :D<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; Could you try launching a cluster without using the EBS volume<br>
&gt;     and let me<br>
&gt;     &gt; &gt; know<br>
&gt;     &gt; &gt; if it succeeds? Nicolas Pinto had a similar issue with<br>
&gt;     StarCluster and I<br>
&gt;     &gt; &gt; believe it only happened for him when using EBS.<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; Thanks,<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; ~Justin<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; On Tuesday 16 March 2010 2:15:12 pm chuan gao wrote:<br>
&gt;     &gt; &gt; &gt; I am using the standard AMI<br>
&gt;     &gt; &gt; &gt; the OS is  ubuntu 9.10<br>
&gt;     &gt; &gt; &gt; yes. I can ssh into AMI with no problem. actually, the error<br>
&gt;     occured at<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; the<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; &gt; last step when it is configuring NFS. I checked the AMI on<br>
&gt;     amazon and<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; they<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; &gt; have been started. and my permanent volume has been mounted.<br>
&gt;     &gt; &gt; &gt; concerning the error,<br>
&gt;     &gt; &gt; &gt; build/bdist.linux-i686/egg/paramiko/sftp_client.py<br>
&gt;     &gt; &gt; &gt; I looked into directory<br>
&gt;     StarCluster-0.90.1/build/bdist.linux-i686 and<br>
&gt;     &gt; &gt; &gt; nothing is there. should there be egg/paramiko/sftp_client.py ?<br>
&gt;     &gt; &gt; &gt; Thanks<br>
&gt;     &gt; &gt; &gt;<br>
&gt;     &gt; &gt; &gt; On Tue, Mar 16, 2010 at 1:46 PM, Dan Yamins &lt;<a href="mailto:dyamins@gmail.com" target="_blank">dyamins@gmail.com</a><br>
</div></div><div>&gt;     &lt;mailto:<a href="mailto:dyamins@gmail.com" target="_blank">dyamins@gmail.com</a>&gt;&gt; wrote:<br>
&gt;     &gt; &gt; &gt; &gt; Justin is on this list, so I&#39;m sure he&#39;ll respond soon.<br>
&gt;     &gt; &gt; &gt; &gt;<br>
&gt;     &gt; &gt; &gt; &gt; Are you using the standard AMI, or one you built yourself?<br>
&gt;     &gt; &gt; &gt; &gt;<br>
&gt;     &gt; &gt; &gt; &gt; Also, what is your operating system and version?<br>
&gt;     &gt; &gt; &gt; &gt;<br>
&gt;     &gt; &gt; &gt; &gt; Also, can you ssh into instances of the AMI, independently of<br>
&gt;     &gt; &gt; &gt; &gt; starcluster?<br>
&gt;     &gt; &gt; &gt; &gt;<br>
&gt;     &gt; &gt; &gt; &gt; On Tue, Mar 16, 2010 at 1:17 PM, chuan gao<br>
</div>&gt;     &lt;<a href="mailto:aggie.gao@gmail.com" target="_blank">aggie.gao@gmail.com</a> &lt;mailto:<a href="mailto:aggie.gao@gmail.com" target="_blank">aggie.gao@gmail.com</a>&gt;&gt;<br>
<div>&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; wrote:<br>
&gt;     &gt; &gt; &gt; &gt;&gt; Thanks Dan, I am pretty sure that I got paramiko installed<br>
&gt;     &gt; &gt; &gt; &gt;&gt; correctly. I&#39;ll work on it a bit more.<br>
&gt;     &gt; &gt; &gt; &gt;&gt; will Justin have a chance to look at this email list and try to<br>
&gt;     &gt; &gt; &gt; &gt;&gt; point out what could be the problem?<br>
&gt;     &gt; &gt; &gt; &gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt; On Tue, Mar 16, 2010 at 11:21 AM, Dan Yamins<br>
</div>&gt;     &lt;<a href="mailto:dyamins@gmail.com" target="_blank">dyamins@gmail.com</a> &lt;mailto:<a href="mailto:dyamins@gmail.com" target="_blank">dyamins@gmail.com</a>&gt;&gt;<br>
<div><div></div><div>&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; wrote:<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; Hm.  I&#39;m not sure what the problem is (your version is fine).<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; Something is clearly wrong with either your paramiko<br>
&gt;     installation<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; or the way that starcluster is using it.<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; Have you tried testing paramiko outside the context of<br>
&gt;     starcluster?<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; Try testing it for normal ssh usage.  If that fails, then<br>
&gt;     you&#39;ll<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; probably have identified the problem.   (I don&#39;t know if<br>
&gt;     you just<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; installed it, perhaps reinstallation would then help.)<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; If paramiko works normally, then perhaps there&#39;s an<br>
&gt;     argument that<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; is being passed on line 109 of starcluster/ssh.py that is<br>
&gt;     supposed<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; to represent an existing file object, that somehow isn&#39;t being<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; properly created (probably earlier in the ssh cycle).  In this<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; case, Justin<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; (the<br>
&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; creator of starcluster) should probably be the one to<br>
&gt;     address your<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; problem.<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; Dan<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt; On Tue, Mar 16, 2010 at 10:57 AM, chuan gao<br>
</div></div>&gt;     &lt;<a href="mailto:aggie.gao@gmail.com" target="_blank">aggie.gao@gmail.com</a> &lt;mailto:<a href="mailto:aggie.gao@gmail.com" target="_blank">aggie.gao@gmail.com</a>&gt;&gt;<br>
<div>&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; wrote:<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt; paramiko-1.7.6-py2.6.egg<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt; Thanks for replying.<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt; On Tue, Mar 16, 2010 at 9:02 AM, Dan Yamins<br>
</div>&gt;     &lt;<a href="mailto:dyamins@gmail.com" target="_blank">dyamins@gmail.com</a> &lt;mailto:<a href="mailto:dyamins@gmail.com" target="_blank">dyamins@gmail.com</a>&gt;&gt;<br>
<div>&gt;     &gt; &gt;<br>
&gt;     &gt; &gt; wrote:<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; On Tue, Mar 16, 2010 at 1:05 AM, chuan gao<br>
</div>&gt;     &lt;<a href="mailto:aggie.gao@gmail.com" target="_blank">aggie.gao@gmail.com</a> &lt;mailto:<a href="mailto:aggie.gao@gmail.com" target="_blank">aggie.gao@gmail.com</a>&gt;<br>
<div>&gt;     &gt; &gt; &gt;<br>
&gt;     &gt; &gt; &gt;wrote:<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Here is the error message:<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; &gt;&gt;&gt; Installing Sun Grid Engine...<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; [SNIP]<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;   File<br>
&gt;     &quot;build/bdist.linux-i686/egg/paramiko/sftp_client.py&quot;,<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; line 675, in _read_response<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;   File<br>
&gt;     &quot;build/bdist.linux-i686/egg/paramiko/sftp_client.py&quot;,<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; line 701, in _convert_status<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; IOError: [Errno 2] No such file<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; What version of paramiko do you have installed?<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Starcluster mailing list<br>
</div>&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; <a href="mailto:Starcluster@mit.edu" target="_blank">Starcluster@mit.edu</a> &lt;mailto:<a href="mailto:Starcluster@mit.edu" target="_blank">Starcluster@mit.edu</a>&gt;<br>

<div>&gt;     &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; <a href="http://mailman.mit.edu/mailman/listinfo/starcluster" target="_blank">http://mailman.mit.edu/mailman/listinfo/starcluster</a><br>
&gt;     &gt;<br>
&gt;<br>
&gt;<br>
<br>
</div><div>-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v2.0.14 (GNU/Linux)<br>
Comment: Using GnuPG with Mozilla - <a href="http://enigmail.mozdev.org/" target="_blank">http://enigmail.mozdev.org/</a><br>
<br>
</div>iEYEARECAAYFAkuhFqwACgkQ4llAkMfDcrkcEwCgi0EdVkC1/5Ne578BNYkQYMpO<br>
+fYAn13tNTBQ2M2P29hgJoltz4nwj2DU<br>
=Vuxo<br>
-----END PGP SIGNATURE-----<br>
</blockquote></div><br>
</div></div><br>_______________________________________________<br>
Starcluster mailing list<br>
<a href="mailto:Starcluster@mit.edu">Starcluster@mit.edu</a><br>
<a href="http://mailman.mit.edu/mailman/listinfo/starcluster" target="_blank">http://mailman.mit.edu/mailman/listinfo/starcluster</a><br>
<br></blockquote></div><br>